큰 모델의 일부만 작은 추가로 바꾸는 LoRA의 크기(랭크)를 정할 때, 실제 작업에서 모델이 ‘어느 단어를 얼마나 볼지’를 얼마나 잘 따라갈 수 있는지 계산하는 이론이다.
큰 모델의 일부만 작은 추가로 바꾸는 LoRA의 크기(랭크)를 정할 때, 실제 작업에서 모델이 ‘어느 단어를 얼마나 볼지’를 얼마나 잘 따라갈 수 있는지 계산하는 이론이다. 무엇이 문제였나 — LoRA의 랭크가 낮으면 추가 장치가 담을 수 있는 변화 방향이 적어 목표와 다른 주의 분포가 될 수 있습니다. 어떻게 풀었나 — 논문은 실제 작업 입력에서 자주 쓰이는 변화 방향에 가중치를 주어, 각 랭크의 오차 상한과 하한을 계산합니다. 그래서 뭐가 좋아졌나 — 결과는 attention 확률 분포의 차이까지를 다루며, 최종 답변이 같은지나 작업 점수가 좋아지는지는 보장하지 않습니다. ...
