https://techllm.github.io/tags/llm%ED%95%99%EC%8A%B5/Recent content in LLM학습 on TechLLMHugokoMon, 01 Jun 2026 07:36:32 +0900https://techllm.github.io/posts/tito-agentic-rl-token-in-token-out/Mon, 01 Jun 2026 07:36:32 +0900https://techllm.github.io/posts/tito-agentic-rl-token-in-token-out/멀티턴 도구 호출이 있는 에이전트 RL 학습에서 발생하는 조용한 버그 — 재토크나이제이션으로 인한 토큰 드리프트. TITO(Token-In, Token-Out) 원칙으로 그래디언트가 모델이 실제 샘플링한 토큰에만 걸리도록 보장하는 방법을 정리했다.https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/Wed, 27 May 2026 23:17:00 +0900https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/비동기 강화학습에서 매 단계 1TB를 전송하는 문제를 해결했다. BF16 가중치의 99% 이상이 한 단계에서 변하지 않는다. 변경된 부분만 희소 safetensors로 인코딩하면 1.2GB → 20MB로 줄어든다.