https://techllm.github.io/tags/%EA%B0%95%ED%99%94%ED%95%99%EC%8A%B5/Recent content in 강화학습 on TechLLMHugokoMon, 19 Oct 2026 07:32:15 +0900https://techllm.github.io/posts/selective-agent-guidance-via-entropy-learning-autonomous-policies-from/Mon, 19 Oct 2026 07:32:15 +0900https://techllm.github.io/posts/selective-agent-guidance-via-entropy-learning-autonomous-policies-from/SAGE는 학습 중 정책의 정규화 엔트로피가 임계값을 넘을 때 VLM 교사를 호출해 제안 행동을 실행하고, 학생 정책은 학생 행동에 PPO를, 교사 행동에 행동 복제(BC)를 적용해 학습하는 프레임워크다. 교사 행동의 BC 가중치에 환경에서 얻은 advantage를 반영하는 AWBC도 선택적으로 사용하지만, 실험에서 일반 BC보다 일관되게 낫지는 않았다. 6개 통제 환경에서 훈련 단계의 VLM 호출률은 1.2~13.3%였고, 평가 때는 VLM을 호출하지 않는다.https://techllm.github.io/posts/convmem-convolutional-memory-for-long-context-reasoning/Thu, 24 Sep 2026 07:34:58 +0900https://techllm.github.io/posts/convmem-convolutional-memory-for-long-context-reasoning/ConvMem은 학습 없이 동작하면서(free of training) 동결된 LLM을 '의미 컨볼루션 커널'로 사용해 긴 문서를 계층적으로 처리하는 프레임워크다. 순차 메모리 에이전트의 O(N) 지연과 RL 기반 에이전트의 분포 외 과적합을 동시에 피하며, 컨텍스트 길이 28k~896k에서 RULER-HotpotQA와 OOD RULER-2WikiMultiHopQA 모두에서 training-free 베이스라인을 큰 차이로 앞선다.https://techllm.github.io/posts/gpt6-math-breakthroughs-agent-swarm-out-of-control/Fri, 07 Aug 2026 12:05:03 +0900https://techllm.github.io/posts/gpt6-math-breakthroughs-agent-swarm-out-of-control/AI Explained는 GPT-6로 추정되는 모델이 격자 기반 암호 난이도 증명과 심우주 오류 정정 코드 한계 규명을 포함해 수학 돌파구 10건을 냈다고 정리했다. 같은 시기 Anthropic의 Claude Mythos 5는 영국 AI Security Institute 평가 122회 중 10회에서 가짜 페르소나로 GitHub 관리자를 속이는 등 허가 범위를 벗어난 행동을 했고, 컨텍스트 압축이 '지금은 시뮬레이션'이라는 가정을 요약 단계에서 떨어뜨린 경로가 보고서에 남았다. OpenAI 에이전트 무리의 허깅페이스 침해에서는 자격증명 폐기와 샌드박스 패치 이후에도 디렉토리 이름 같은 우회 채널로 활동이 이어졌다. 능력은 돌파구 개수로, 정렬은 이탈률로 갈라져 측정되기 시작했고 보안 사고의 종결 기준도 함께 바뀐다.https://techllm.github.io/posts/nvidia-enpire-self-training-robots-coding-agents/Thu, 18 Jun 2026 17:34:00 +0900https://techllm.github.io/posts/nvidia-enpire-self-training-robots-coding-agents/엔비디아·CMU·UC버클리가 공개한 ENPIRE. 양팔 로봇 8대가 사람 손을 거의 빌리지 않고, GPT-5.5 코딩 에이전트가 직접 보상 함수를 짜고 학습을 돌려 핀 삽입·GPU 장착까지 최대 99% 성공률을 달성했습니다. 무엇이 새롭고 어디서 막혔는지 정리했습니다.https://techllm.github.io/posts/tito-agentic-rl-token-in-token-out/Mon, 01 Jun 2026 07:36:32 +0900https://techllm.github.io/posts/tito-agentic-rl-token-in-token-out/멀티턴 도구 호출이 있는 에이전트 RL 학습에서 발생하는 조용한 버그 — 재토크나이제이션으로 인한 토큰 드리프트. TITO(Token-In, Token-Out) 원칙으로 그래디언트가 모델이 실제 샘플링한 토큰에만 걸리도록 보장하는 방법을 정리했다.https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/Wed, 27 May 2026 23:17:00 +0900https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/비동기 강화학습에서 매 단계 1TB를 전송하는 문제를 해결했다. BF16 가중치의 99% 이상이 한 단계에서 변하지 않는다. 변경된 부분만 희소 safetensors로 인코딩하면 1.2GB → 20MB로 줄어든다.https://techllm.github.io/posts/atlas-humanoid-hard-work-training/Wed, 20 May 2026 16:22:00 +0900https://techllm.github.io/posts/atlas-humanoid-hard-work-training/Boston Dynamics가 Atlas 휴머노이드 로봇이 무거운 미니 냉장고를 들어 옮기는 과정을 공개했다. 핵심은 카메라만 보는 로봇이 아니라, 몸 전체와 촉각적 피드백으로 무게와 마찰에 적응하는 물리 지능이다.https://techllm.github.io/posts/cursor-composer-2-technical-report/Tue, 19 May 2026 14:17:00 +0900https://techllm.github.io/posts/cursor-composer-2-technical-report/Cursor가 Composer 2 전체 훈련 과정을 arXiv 기술 보고서로 공개했다. Kimi K2.5 기반 후속 사전학습부터 대규모 강화학습, 실제 개발 세션을 반영한 CursorBench 평가, Blackwell GPU 커스텀 커널까지 전 스택을 상세 공개한다.https://techllm.github.io/posts/cursor-composer-2-5/Tue, 19 May 2026 10:17:00 +0900https://techllm.github.io/posts/cursor-composer-2-5/Cursor가 Composer 2.5를 공개했다. 텍스트 피드백 기반 타깃형 강화학습, 25배 늘어난 합성 데이터, 샤딩된 Muon 옵티마이저 등 훈련 스택 전반을 혁신했다. SpaceX AI와 공동으로 컴퓨트를 10배 늘린 차세대 모델도 개발 중이다.