TITO: 에이전틱 RL에서 토큰 드리프트를 막는 핵심 원칙
개요 에이전트 RL 학습 루프를 멀티턴으로 확장하는 순간 이상한 현상이 나타난다. 손실이 이유 없이 치솟고, 가끔 shape mismatch 오류가 난다. 원인은 거의 항상 같다 — 재토크나이제이션이 모델이 실제 샘플링한 토큰을 슬쩍 바꿔치기한다. HuggingFace의 Quentin Gallouédec과 Kashif Rasul이 이 문제의 원인과 해법을 TITO(Token-In, Token-Out) 원칙으로 정리했다. ...