Order Parameter on TechLLMhttps://techllm.github.io/tags/order-parameter/Recent content in Order Parameter on TechLLMHugokoSun, 06 Sep 2026 08:09:14 +0900어텐션 행렬을 어떻게 쪼개 표현하느냐에 따라 거대한 모델이 빈 상태에서 정보를 학습해 빠져나오는 속도와 경로가 완전히 달라진다는 것을 수학적으로 증명한 이론 논문이다.https://techllm.github.io/posts/high-dimensional-learning-dynamics-of-attention-indexed-models/Sun, 06 Sep 2026 08:09:14 +0900https://techllm.github.io/posts/high-dimensional-learning-dynamics-of-attention-indexed-models/본 논문은 어텐션 행렬의 랭크가 임베딩 차원에 비례해 커지는 extensive-rank 체제에서 attention-indexed 모델의 고차원 학습 동역학을 분석한다. 핵심 발견은 population loss는 유한 차원의 order parameter(μ, Ω, Ψ)로 기술되지만, online SGD는 무한 차원의 matrix moment 계층을 생성한다는 점이다.