AsyncRL on TechLLM

AsyncRL on TechLLMhttps://techllm.github.io/tags/asyncrl/Recent content in AsyncRL on TechLLMHugokoWed, 27 May 2026 23:17:00 +0900Delta Weight Sync — 1TB 모델도 초당 동기화하는 비동기 RL 트릭https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/Wed, 27 May 2026 23:17:00 +0900https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/비동기 강화학습에서 매 단계 1TB를 전송하는 문제를 해결했다. BF16 가중치의 99% 이상이 한 단계에서 변하지 않는다. 변경된 부분만 희소 safetensors로 인코딩하면 1.2GB → 20MB로 줄어든다.