여러 풀이 방식을 시험해, 한 번의 정답률과 여러 번 시도했을 때의 성공 가능성을 함께 높이는 학습법을 연구했다.
여러 풀이 방식을 시험해, 한 번의 정답률과 여러 번 시도했을 때의 성공 가능성을 함께 높이는 학습법을 연구했다. 무엇이 문제였나 — GRPO는 한 번 뽑은 답의 정답률을 높일 수 있지만, 일부 실험에서는 여러 번 시도했을 때의 성공률이 기준 모델보다 낮아졌다. 어떻게 풀었나 — ES는 매개변수를 조금씩 다르게 바꾼 여러 모델을 시험하고, 점수가 높은 변화 방향을 모아 학습한다. 그래서 뭐가 좋아졌나 — 논문 실험에서 ES는 한 번의 정답률을 높이면서 여러 번 시도했을 때의 평균 성공률도 GRPO보다 높았다. ...