작은 AI가 만든 풀이 앞부분을 학습 중에 큰 AI에게 보여 주고, 큰 AI가 나머지를 이어 풀도록 해 더 다양한 답을 찾게 하는 연구다.

작은 AI가 만든 풀이 앞부분을 학습 중에 큰 AI에게 보여 주고, 큰 AI가 나머지를 이어 풀도록 해 더 다양한 답을 찾게 하는 연구다.

무엇이 문제였나 — 큰 AI는 정답률을 높이는 과정에서 자주 쓰는 풀이에 집중하여 다른 답을 찾을 가능성이 줄어들 수 있다. 어떻게 풀었나 — 작은 AI가 쓴 틀릴 수도 있는 풀이 앞부분을 학습 때 가끔 붙이고, 큰 AI가 그 뒤를 이어 풀게 한다. 그래서 뭐가 좋아졌나 — 한 문제에 여러 번 답을 시도할 때 정답을 찾을 가능성이 커졌고, 학습 중 선택의 폭도 유지됐다.

늘 같은 길로만 가던 사람이 다른 사람이 그린 지도의 일부를 보고 나머지 길을 직접 찾아가는 것과 비슷하다. 지도 조각이 완벽하지 않아도 익숙한 길 밖을 살펴보는 계기가 될 수 있다.

논문 정보

Xingyu Shen, Huishuai Zhang, Peng Li, Yinchun Wang, Dongyan Zhao · Wangxuan Institute of Computer Technology, Peking University; National Engineering Research Center of New Electronic Publishing Technologies · arXiv preprint (arXiv:2608.27420v1) · 2026

왜 중요한가

한 번 풀 때의 정답률만 높이는 것은 충분하지 않을 수 있다. 여러 번 시도해도 같은 풀이만 반복하는 AI는 다른 정답 경로를 찾아야 할 때 약해질 수 있기 때문이다.

핵심 지표

어떻게 동작하나

표준 RLVR은 원 질문 q만 주고 target model이 전체 답 r을 생성한 뒤 외부 검증기의 보상 R(q,r)을 받는 방식이며, GRPO는 같은 질문에서 생성한 8개 응답의 상대 보상을 이용해 학습한다. 제안 방법은 작은 보조 모델로 완성 풀이를 생성한 뒤 이를 문장 부호로 단계로 나누고, RLVR 학습 전 target base model의 단계별 엔트로피를 계산한다. 인접 단계 사이의 엔트로피 하락이 가장 큰 경계 L*를 찾아 그 직전 단계까지를 prefix로 남긴다. 학습에서는 각 질문에 대해 확률 p=0.2로 prefix를 붙여 target model이 나머지를 이어 풀게 하고, 나머지 0.8에서는 원래 질문만 사용한다. 보상은 연결된 전체 답에 대해 계산한다. prefix 자체가 정확할 필요는 없으며, 논문은 다른 모델의 분포에서 시작한 prefix가 초기 불확실성과 그룹 안의 보상 차이를 키워 탐색을 돕는다고 해석한다. 실험 대상 target은 Qwen2.5-7B와 Qwen2.5-Math-7B, prefix 생성기는 LLaMA-3.2-1B와 Gemma-2-2B이며, MATH 학습 집합의 7,500개 문제-답 쌍을 사용한다. GRPO에는 KL 페널티를 적용하지 않았고, 평가는 AIME 2024, AIME 2025, AMC 2023, MATH 500, Minerva, Olympiad Bench의 평균 pass@k로 수행했다.

핵심 수식:

L* = argmax_L [H̄_{θ₀}(s̃_L) − H̄_{θ₀}(s̃_{L+1})]
r̃ = {s̃₁, …, s̃_{L*}}
θ* = argmax_θ E_{q∼D}[(1 − p) E_{r∼πθ(·|q)} R(q,r) + p E_{r_suf∼πθ(·|q,r̃)} R(q,r̃ ∘ r_suf)]

H̄_{θ₀}(s̃_j)는 RLVR 학습 전 target base model이 보조 모델의 j번째 풀이 단계에 대해 계산한 단계별 엔트로피이며, 해당 단계에 포함된 토큰 엔트로피의 평균이다. s̃_j는 보조 모델의 j번째 풀이 단계, L는 H̄(s̃_L)−H̄(s̃_{L+1})가 가장 큰 위치, r̃는 그 위치까지 보존한 보조 prefix이다. p는 prefix를 붙여 이어 풀게 하는 확률, r_suf는 target model이 생성한 나머지 풀이, ◦는 연결, R는 검증기 보상, πθ는 학습 대상 정책, D는 질문 분포, θ₀는 RLVR 학습 전 base model의 매개변수, θ는 최적화할 매개변수를 뜻한다.

한계와 주의할 점

• 실험은 수학 추론에만 집중되어 있다. 논문도 논리 및 코드 생성에는 다른 도메인으로의 일반화가 아직 확인되지 않았다고 제한사항으로 밝힌다.
• 주요 비교 대상은 vanilla GRPO지만, 학습 전 base model의 pass@128은 여전히 더 높다. Qwen2.5-7B는 base 72.15%와 제안법 70.71%, Qwen2.5-Math-7B는 base 72.71%와 제안법 71.22%다. 따라서 결과는 base model의 높은 k 성능을 회복한 것이 아니라 GRPO로 인해 줄어든 범위를 개선한 것으로 해석해야 한다.
• prefix 비율에는 미묘한 절충이 있다. p=0.2는 pass@1 39.01%, pass@128 70.71%이고, p=0.5는 pass@1 39.22%이지만 pass@128은 67.89%로 낮다. p=1.0도 pass@1 38.56%, pass@128 68.54%로 p=0.2보다 낮다.
• 절단 방식도 결과에 영향을 준다. Qwen2.5-7B에서 엔트로피 기반 절단은 pass@1 39.01%, pass@128 70.71%인 반면 무작위 단계 절단은 38.08%, 70.19%다.
• prefix 생성 모델의 계열도 중요하다. 동계열인 Qwen2.5-1.5B와 Qwen2.5-7B prefix는 각각 pass@1 38.88%, 38.12%, pass@128 67.22%, 68.79%로, 이타 계열 Gemma-2-2B의 39.01%, 70.71%보다 효과적이지 않았다.
• prefix 품질 평가는 DeepSeek-V4-Flash가 생성 모델별 표본 200개를 네 범주로 분류한 결과에 의존한다. 인간 판정과 모델 간 일치도, 판정 오차 및 실제 운영에서 잘못된 prefix가 만드는 오류 비용은 정량화되어 있지 않다.
• prefix가 틀렸거나 오도하는 중간 단계를 포함하면 target model이 잘못된 방향으로 이어 풀 수 있다. 다만 논문 실험에서는 대상 모델이 이런 prefix에서도 일정 부분을 회복했다.
• prefix가 너무 길면 target model이 중간 추론을 새로 수행하지 않고 prefix에 포함된 최종 답만 따라 출력할 수 있으며, 그러면 정책 학습에 필요한 추론 과정이 약해질 수 있다.
• prefix를 지나치게 많이 사용하면 학습은 외부 앞부분에 의존하지만 추론은 원래 질문만 받게 되어 학습과 사용 사이의 차이가 커지고 성능이 낮아질 수 있다.
• target model과 분포가 가까운 동계열 모델의 prefix는 분포를 충분히 흔들지 못해 탐색 효과가 제한될 수 있다.
• 수학 이외의 문제 분포에서는 낯선 prefix가 새로운 탐색을 돕는 대신 불필요한 혼란과 오류를 유발할 수 있다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

학습 데이터 준비 단계에 엔트로피 기반 prefix 절단 적용

보조 모델이 완성한 풀이를 단계로 나누고 target base model으로 단계별 엔트로피를 계산한다. 인접 단계의 엔트로피 차가 가장 큰 경계를 찾아 앞부분만 저장하고, 일부 학습 응답에서만 이를 붙여 target model이 나머지를 생성하게 한다. 절단점은 학습 전 base model에서 한 번 계산한다.

적용 지점 — 검증 가능한 보상 기반 에이전트의 학습 입력 생성

기대 효과 — Qwen2.5-7B에서 Gemma-2-2B prefix의 평균 pass@128은 vanilla GRPO의 67.76%에서 70.71%로 올랐고, 무작위 단계 절단의 70.19%보다도 높았다.

질문 단독 학습과 prefix 완료 학습을 80:20으로 혼합

RLVR 입력 샘플러는 p=0.2일 때만 보조 prefix를 붙이고 나머지는 원래 질문만 사용한다. 비율을 높이면 분포 교란은 커질 수 있지만 학습과 prefix 없는 추론 사이의 차이가 커지므로, pass@1과 pass@128을 함께 보며 조절해야 한다.

적용 지점 — RLVR 학습 입력 샘플러

기대 효과 — p=0.2는 Qwen2.5-7B에서 pass@1 39.01%, pass@128 70.71%를 기록했다. p=1.0은 각각 38.56%, 68.54%였다.

분포가 다른 약한 모델을 prefix 생성기로 선택

Gemma-2-2B와 LLaMA-3.2-1B는 target인 Qwen 계열과 다른 모델 계열이다. 반면 Qwen2.5-1.5B와 Qwen2.5-7B prefix는 의미적 품질이 높아도 target과 너무 가까워 탐색 교란 효과가 작았다. 생성기 후보를 정답 품질과 분포 차이로 함께 비교한다.

적용 지점 — prefix 생성 모델 선택

기대 효과 — Qwen2.5-7B의 Table 2에서 Gemma-2-2B prefix는 pass@1 39.01%, pass@128 70.71%였지만, 동계열 Qwen2.5-1.5B와 Qwen2.5-7B prefix는 각각 38.88%·67.22%, 38.12%·68.79%였다.

단계별 도입 로드맵

원문 PDF: 2026-08-30-boosting-llm-exploration-via-weak-model-guidance-in-rlvr.pdf