https://techllm.github.io/tags/attention/Recent content in Attention on TechLLMHugokoMon, 09 Nov 2026 07:35:16 +0900https://techllm.github.io/posts/how-much-rank-does-lora-need-rank-error-bounds-for-transformer-attenti/Mon, 09 Nov 2026 07:35:16 +0900https://techllm.github.io/posts/how-much-rank-does-lora-need-rank-error-bounds-for-transformer-attenti/이 논문은 다운스트림 작업의 입력 분포에서 이미 얻어진 목표 attention을 LoRA가 각 랭크에서 얼마나 정확히 재현할 수 있는지 이론적 상·하한으로 분석한다. 원래 가중치의 특이값만 보는 대신, 실제 작업의 query와 key가 활성화하는 업데이트 방향을 이용해 attention KL의 rank–error 곡선을 구한다. 결과는 attention 확률 분포의 오차에 관한 이론이며, head 출력이나 최종 작업 성능을 보장하지 않는다.