https://techllm.github.io/tags/lora/Recent content in LoRA on TechLLMHugokoMon, 09 Nov 2026 07:35:16 +0900https://techllm.github.io/posts/how-much-rank-does-lora-need-rank-error-bounds-for-transformer-attenti/Mon, 09 Nov 2026 07:35:16 +0900https://techllm.github.io/posts/how-much-rank-does-lora-need-rank-error-bounds-for-transformer-attenti/이 논문은 다운스트림 작업의 입력 분포에서 이미 얻어진 목표 attention을 LoRA가 각 랭크에서 얼마나 정확히 재현할 수 있는지 이론적 상·하한으로 분석한다. 원래 가중치의 특이값만 보는 대신, 실제 작업의 query와 key가 활성화하는 업데이트 방향을 이용해 attention KL의 rank–error 곡선을 구한다. 결과는 attention 확률 분포의 오차에 관한 이론이며, head 출력이나 최종 작업 성능을 보장하지 않는다.https://techllm.github.io/posts/studentsim-training-llm-based-student-simulators/Fri, 09 Oct 2026 07:32:25 +0900https://techllm.github.io/posts/studentsim-training-llm-based-student-simulators/본 논문은 실제 학생의 희소한 학습 기록만으로 학생별 AI 시뮬레이터를 만드는 두 단계 프레임워크 STUDENTSIM을 제안한다. 핵심은 여러 학생 데이터를 먼저 묶어 공통 오답 패턴과 가이드 반응을 학습한 뒤, 각 학생의 소량 기록으로 개별 특성을 입히는 것이다. 저자들은 행동 충실도(F)와 가이드 반응성(R)이라는 두 지표를 정의하고, 체스·L2 영어 작문·수학의 60명 학생으로 구성한 STUDENTSIMEVAL에서 StudentSim이 GPT-5.4보다 세 도메인 모두에서 두 지표가 높음을 보인다.https://techllm.github.io/posts/cosmos-predict-robot-video-lora-dora/Sun, 24 May 2026 20:30:00 +0900https://techllm.github.io/posts/cosmos-predict-robot-video-lora-dora/NVIDIA가 Cosmos Predict 2.5를 LoRA와 DoRA로 파인튜닝해 적은 로봇 영상 데이터로 합성 궤적을 만드는 방법을 공개했다. 로봇 학습에서 데이터 병목을 줄이는 실무적 접근을 정리했다.