어텐션 행렬을 어떻게 쪼개 표현하느냐에 따라 거대한 모델이 빈 상태에서 정보를 학습해 빠져나오는 속도와 경로가 완전히 달라진다는 것을 수학적으로 증명한 이론 논문이다.
어텐션 행렬을 어떻게 쪼개 표현하느냐에 따라 거대한 모델이 빈 상태에서 정보를 학습해 빠져나오는 속도와 경로가 완전히 달라진다는 것을 수학적으로 증명한 이론 논문이다. 무엇이 문제였나 — 어텐션은 모든 최신 거대 모델의 핵심 부품인데, 학습 과정이 수학적으로 어떻게 돌아가는지 거의 알려진 바가 없었다 어떻게 풀었나 — 모델의 차원을 무한대로 키우는 극한에서 어텐션-인덱스 모델이라는 틀을 세우고, 어텐션 행렬을 직접 쓰는 경우·대칭 형태로 묶는 경우·두 행렬의 곱으로 푸는 경우 세 가지를 비교했다 그래서 뭐가 좋아졌나 — 어떤 어텐션 구조가 언제, 왜 정보를 학습하기 시작하는지 정확히 알 수 있게 되었고, 무한 차원 동역학을 유한 차원으로 근사하는 방법도 함께 얻었다 ...