GRPO on TechLLMhttps://techllm.github.io/tags/grpo/Recent content in GRPO on TechLLMHugokoWed, 14 Oct 2026 07:33:20 +0900한 회사에서 200개 넘는 서비스에 쓰던 여러 AI 모델을, 약한 부분만 따로 키운 뒤 하나로 합쳐서, 7배 큰 모델과 비슷한 품질을 더 싸게 쓰게 만든 방법.https://techllm.github.io/posts/from-production-traffic-to-post-training-building-a-self-hosted-llm-th/Wed, 14 Oct 2026 07:33:20 +0900https://techllm.github.io/posts/from-production-traffic-to-post-training-building-a-self-hosted-llm-th/데이터 주권 제약으로 자가 호스팅을 강제받는 대기업 환경에서, 200개 이상 내부 서비스로 분산된 LLM 트래픽을 단일 32B 모델로 통합한 사후학습(SFT+GRPO+SLERP) 레시피를 제시한다. 세 축(지시 따르기, 함수 호출, 내부 분포 정렬)별로 독립 GRPO 전문가를 학습해 이단 SLERP로 가중치를 합병함으로써, 파라미터 7배 큰 Qwen3-235B-A22B-Instruct-2507와 동등 이상의 품질을 절반 크기로 달성했다.AI가 논문에 인용을 붙일 때, 단어가 비슷한 논문이 아니라 그 문장을 실제로 뒷받침하는 논문을 고르게 만든 연구다.https://techllm.github.io/posts/recite-agentic-reasoning-for-faithful-citation/Sun, 20 Sep 2026 07:32:18 +0900https://techllm.github.io/posts/recite-agentic-reasoning-for-faithful-citation/ReCite는 인용 추천을 단순 유사도 검색에서 '주장-근거 일치 검증'으로 전환한 decoupled 에이전트 프레임워크다. CiteLocator(인용 위치 인식), QueryPlanner(의도 기반 검색어 계획), Master Brain(반성적 검증·재검색) 3단계로 구성되며, Qwen3-4B 기반 경량 시스템으로 1.6T 매개변수 DeepSeek-V4-Pro보다 높은 strict 인용 F1 39.15%를 달성한다.AUSO는 인공지능 에이전트가 '지금 이 힌트가 내 다음 행동을 진짜로 바꾸고 있나?'를 매 순간 따져 보고, 정말 도움이 된 행동만 더 강하게 익히게 하는 훈련법이다.https://techllm.github.io/posts/auso-action-level-unified-skill-optimization-from-internalization-to-u/Tue, 25 Aug 2026 07:40:36 +0900https://techllm.github.io/posts/auso-action-level-unified-skill-optimization-from-internalization-to-u/AUSO는 LLM 에이전트가 사용하는 '스킬(절차적 지식)'의 학습과 활용을 액션 단위에서 통합한 강화학습 프레임워크다. JSD(젠슨-샌넌 발산) 기반 정보 이득 신호로 각 행동이 스킬에 얼마나 민감한지 측정하고, 이를 teacher-guided internalization → autonomous exploration(GRPO) → action-level skill utilization의 3단계 커리큘럼으로 점진 전이시킨다.Delta Weight Sync — 1TB 모델도 초당 동기화하는 비동기 RL 트릭https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/Wed, 27 May 2026 23:17:00 +0900https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/비동기 강화학습에서 매 단계 1TB를 전송하는 문제를 해결했다. BF16 가중치의 99% 이상이 한 단계에서 변하지 않는다. 변경된 부분만 희소 safetensors로 인코딩하면 1.2GB → 20MB로 줄어든다.