Pass@K

작은 AI가 만든 풀이 앞부분을 학습 중에 큰 AI에게 보여 주고, 큰 AI가 나머지를 이어 풀도록 해 더 다양한 답을 찾게 하는 연구다. 무엇이 문제였나 — 큰 AI는 정답률을 높이는 과정에서 자주 쓰는 풀이에 집중하여 다른 답을 찾을 가능성이 줄어들 수 있다. 어떻게 풀었나 — 작은 AI가 쓴 틀릴 수도 있는 풀이 앞부분을 학습 때 가끔 붙이고, 큰 AI가 그 뒤를 이어 풀게 한다. 그래서 뭐가 좋아졌나 — 한 문제에 여러 번 답을 시도할 때 정답을 찾을 가능성이 커졌고, 학습 중 선택의 폭도 유지됐다. ...

여러 풀이 방식을 시험해, 한 번의 정답률과 여러 번 시도했을 때의 성공 가능성을 함께 높이는 학습법을 연구했다. 무엇이 문제였나 — GRPO는 한 번 뽑은 답의 정답률을 높일 수 있지만, 일부 실험에서는 여러 번 시도했을 때의 성공률이 기준 모델보다 낮아졌다. 어떻게 풀었나 — ES는 매개변수를 조금씩 다르게 바꾼 여러 모델을 시험하고, 점수가 높은 변화 방향을 모아 학습한다. 그래서 뭐가 좋아졌나 — 논문 실험에서 ES는 한 번의 정답률을 높이면서 여러 번 시도했을 때의 평균 성공률도 GRPO보다 높았다. ...