여러 풀이 방식을 시험해, 한 번의 정답률과 여러 번 시도했을 때의 성공 가능성을 함께 높이는 학습법을 연구했다.

여러 풀이 방식을 시험해, 한 번의 정답률과 여러 번 시도했을 때의 성공 가능성을 함께 높이는 학습법을 연구했다.

무엇이 문제였나 — GRPO는 한 번 뽑은 답의 정답률을 높일 수 있지만, 일부 실험에서는 여러 번 시도했을 때의 성공률이 기준 모델보다 낮아졌다. 어떻게 풀었나 — ES는 매개변수를 조금씩 다르게 바꾼 여러 모델을 시험하고, 점수가 높은 변화 방향을 모아 학습한다. 그래서 뭐가 좋아졌나 — 논문 실험에서 ES는 한 번의 정답률을 높이면서 여러 번 시도했을 때의 평균 성공률도 GRPO보다 높았다.

여러 학생이 조금씩 다른 풀이를 시도하고, 채점 결과를 보고 다음 풀이에 반영하는 것과 비슷하다. 서로 다른 접근을 시험하면 한 가지 풀이만 반복할 때 놓치는 정답을 찾을 수 있다.

논문 정보

Yunpeng Ba, Zhi Zheng, Yue Xie, Jiaqing Li et al. · Southern University of Science and Technology; National University of Singapore; Huawei Noah’s Ark Lab; City University of Hong Kong; Harbin Institute of Technology, Weihai · arXiv preprint (arXiv:2608.27351v1 [cs.LG]) · 2026

왜 중요한가

수학 문제처럼 답을 여러 번 만들어 볼 수 있는 상황에서는 첫 답이 맞을 가능성과 여러 답 가운데 하나가 맞을 가능성이 모두 중요하다. 이 연구는 두 목표를 비교하고, 학습한 뒤 다른 문제 유형에서 성능이 유지되는지도 평가한다.

핵심 지표

어떻게 동작하나

ES와 GRPO는 모두 자동 채점 점수를 최적화한다. GRPO는 한 정책에서 뽑은 답들을 비교해 역전파로 학습하고, ES는 전체 매개변수에 여러 방향의 변화를 주어 각 후보의 보상을 평가한 뒤 표준화된 보상으로 변화 방향을 합친다. 논문은 ES의 집단별 Jensen–Shannon 다양성이 성공 여부로 투영될 때 반복 시도 성공률을 높일 수 있다는 조건부 이론을 제시한다. 다만 보상 가중 정책 혼합은 분석용 비교 대상이며 실제 ES 업데이트가 아니다. 실험에서는 GSM8K를 이용한 Easy Setting(세 모델, 2 epoch)과 DeepScaleR를 이용한 Hard Setting(DeepSeek-R1-Distill-Qwen-1.5B, 1 epoch)을 비교했다. 파라미터 변화량을 분석하고 작은 변화들을 제거한 체크포인트의 성능도 확인했다. 하이퍼파라미터 실험은 보상 정규화, 섭동 크기, population 크기, 추정법을 다뤘다. 본문에 보고된 실험 결과는 주로 기술 통계이며 p값이나 신뢰구간은 제시되지 않는다.

핵심 수식:

d̂_ES = (1/N) Σᵢ zᵢεᵢ,  θ⁺ = θ + αd̂_ES
Eε₁:ₙ[JSᴾᵒˡ_N(x)] = (σ²/2)(1−1/N) tr Iₓ(θ) + O(σ⁴)
J_K(π) = Eₓ[1−(1−p_π(x))ᴷ]

d̂_ES: 표준화 보상으로 가중한 섭동 방향의 평균; N: 후보 수, zᵢ: 후보 i의 보상 z-score, εᵢ: 가우시안 섭동, α: 업데이트 크기 JSᴾᵒˡ_N(x): prompt x에서 후보 정책들의 정책 분포 다양성; σ: 섭동 크기, Iₓ(θ): prompt 조건부 Fisher 정보 행렬. 식은 본문 조건 아래 σ→0일 때의 국소 근사다. J_K(π): 정책 π의 기대 Pass@K; p_π(x): prompt x에서 정답을 낼 확률

한계와 주의할 점

• 이론적 결과에는 유한한 엔트로피와 Fisher 정보, 공통 국소 지지집합, 충분한 매끄러움 등의 조건이 필요하다. 보상 가중 정책 혼합은 실제 ES 업데이트가 아닌 분석용 비교 대상이며, 중심 모델로 이점이 전달되려면 추가 조건이 필요하다.
• 본문에는 p값, 신뢰구간, 반복 실행 간 불확실성 또는 유의성 검정이 보고되지 않는다. 평균 차이와 순차 혼합의 우위는 보고된 실험 결과의 기술적 비교로 해석해야 한다.
• ES는 역전파용 상태를 유지하지 않지만, 매 업데이트에서 여러 섭동 모델을 평가하고 응답을 생성해야 한다. 실험은 A100-SXM4-80GB GPU를 사용했으며 총 GPU 시간과 end-to-end latency는 보고하지 않는다.
• 평가는 Qwen2.5-0.5B·1.5B·3B·7B-Instruct와 DeepSeek-R1-Distill-Qwen-1.5B에 한정된다. 더 큰 모델에서 더 작은 population으로 충분하다는 주장은 제한된 규모 비교에 근거한다.
• 기존 능력 보존 결과는 평가된 두 epoch 또는 한 epoch의 작업 전환에 해당한다. 여러 작업을 거치는 장기 continual learning에서 성능이 어떻게 변하는지는 향후 과제로 남는다.
• 섭동 크기 σ가 너무 작으면 좁은 범위만 탐색해 관측 보상에 과적합하거나 지역 최적점에 갇힐 수 있다. 너무 크면 탐색이 과도해져 학습이 불안정해지고 성능이 무너질 수 있다.
• 후보들이 서로 다른 오답만 내고 정답 성공률은 비슷하면 정책의 차이는 커져도 정답 탐색에 도움이 되지 않을 수 있다. 이 경우 Pass@K 향상도 기대하기 어렵다.
• 보상 점수와 실제 정답 성공률이 양의 관계가 아니면, 높은 보상 후보에 가중치를 두는 것이 후보들을 고르게 쓰는 것보다 낫지 않을 수 있다. 채점기의 오류가 이 관계를 깨뜨릴 수 있다.
• 후보 집단에서 찾은 성공률 향상이 중심 모델 업데이트 뒤에도 유지된다는 보장은 없다. 논문의 명제는 후보와 업데이트된 중심 모델 사이의 성공률 차이가 충분히 작다는 조건을 요구한다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

목표에 따른 ES·GRPO 순차 학습 비교

수학·추론 후학습에서 두 학습 순서를 후보로 만들고 Pass@1·Pass@16·Pass@32 및 held-out 성능을 비교한다. 한 번의 답이 중요한 서비스와 여러 후보를 쓰는 서비스에서 순서별 결과가 어떻게 다른지 평가한다.

적용 지점 — LLM reasoning post-training

기대 효과 — 논문의 Hard Setting 수학 평균에서 ES→GRPO는 Pass@32 79.2%, GRPO는 78.0%, ES는 78.9%였다. 평균 Pass@1은 GRPO가 52.9%, ES→GRPO가 52.3%였다.

보상 표준화와 모델 규모별 population 비교

population 보상을 z-score로 바꾸고 N=8, 16, 32, 64를 비교한다. 논문은 update 300에서 N=16이 1.5B 및 3B 모델의 N=64 보상과 0.01 이내였고, 0.5B에서는 N=32가 기준을 충족했다고 보고한다.

적용 지점 — ES 후학습 최적화

기대 효과 — N=16과 N=64의 보상 차이는 0.5B에서 0.0352, 1.5B에서 0.0051, 3B에서 0.0030이었다.

작은 업데이트를 제거한 체크포인트 평가

학습 뒤 |Δθᵢ|가 작은 좌표의 변화를 0으로 돌린 체크포인트들을 만들고 Pass@1을 평가한다. 논문은 업데이트 희소도가 약 78%인 비교점에서 네 모델의 Full ES 대비 Pass@1 변화가 각각 −0.351, −0.130, +0.488, +0.169 percentage point였다고 보고한다. 이는 체크포인트 후보를 평가하는 방법으로 검증할 수 있다.

적용 지점 — ES 체크포인트 평가

기대 효과 — 약 78% 업데이트 희소도 비교점에서 목표 작업 Pass@1은 네 모델 모두 Full ES 결과에 가까웠다.

held-out Pass@32와 Maj@32로 적응 결과 점검

Base Model과 학습 후보를 같은 held-out 평가 세트에서 비교하고 Pass@32 및 Maj@32 변화를 기록한다. 논문은 Easy Setting의 held-out 평균 ΔPass@32가 세 모델에서 ES +0.8, +2.2, +0.2 percentage point였고 GRPO −0.1, −1.6, −1.6였다고 보고한다. 이 결과는 해당 설정의 평균이며 이후 작업에서도 같은 결과가 보장되지는 않는다.

적용 지점 — 추론 모델 적응 평가

기대 효과 — 평가한 Easy Setting의 held-out 평균 Pass@32 변화는 ES에서 세 모델 모두 양수였다.

응답을 새로 생성하는 평가에서 one-point 추정 검토

one-point 방식은 방향당 한 번, antithetic two-point 방식은 양·음 방향을 평가하므로 방향 N개에 각각 N회와 2N회의 섭동 평가가 필요하다. 논문은 생성 응답의 정답 보상에서 양·음 방향 점수의 짝지음이 일관된 분산 감소를 보이지 않았고, matched GSM8K 실험에서 two-point가 학습 보상이나 held-out 성능 이점을 보이지 않았다고 보고한다.

적용 지점 — ES 보상 평가 및 업데이트

기대 효과 — 평가한 GSM8K 설정에서 one-point는 two-point보다 적은 섭동 평가를 요구했고, two-point 성능 이점은 관찰되지 않았다.

단계별 도입 로드맵

원문 PDF: 2026-08-31-understanding-evolution-strategies-for-llm-reasoning-broader-reasoning-c.pdf