https://techllm.github.io/tags/parametric-knowledge/Recent content in Parametric Knowledge on TechLLMHugokoSat, 22 Aug 2026 07:37:41 +0900https://techllm.github.io/posts/inject-align-recover-staged-post-training-for-retrieval-free-document/Sat, 22 Aug 2026 07:37:41 +0900https://techllm.github.io/posts/inject-align-recover-staged-post-training-for-retrieval-free-document/IAR은 검색 없이도 고정된 문서 집합을 모델 파라미터에 내재화하는 3단계 사후학습 프레임워크다. Inject(구조적 문서 노출), Align(QA 정렬), Recover(모델 병합을 통한 일반 능력 복원)을 분리해 도메인 정확도와 일반 능력 사이의 운영점을 선택한다. Llama·Phi·Qwen·SmolLM 4개 모델군과 CC·CCI 두 데이터셋의 주 비교에서 Vanilla SFT 대비 평균 3.6pp 도메인 QA 정확도, 12.1pp 평균 일반 성능 향상을 보고한다.