Pass@K on TechLLM

Pass@K on TechLLMhttps://techllm.github.io/tags/pass@k/Recent content in Pass@K on TechLLMHugokoTue, 03 Nov 2026 07:35:27 +0900작은 AI가 만든 풀이 앞부분을 학습 중에 큰 AI에게 보여 주고, 큰 AI가 나머지를 이어 풀도록 해 더 다양한 답을 찾게 하는 연구다.https://techllm.github.io/posts/boosting-llm-exploration-via-weak-model-guidance-in-rlvr/Tue, 03 Nov 2026 07:35:27 +0900https://techllm.github.io/posts/boosting-llm-exploration-via-weak-model-guidance-in-rlvr/이 논문은 RLVR 학습에서 큰 모델의 정책 엔트로피가 빠르게 낮아져 여러 정답 경로를 찾는 폭이 줄어드는 문제를 완화한다. 작은 보조 모델이 만든 풀이를 일부만 남겨 prefix로 사용하고, 일정 비율의 학습 사례에서만 큰 모델이 그 앞부분을 이어 풀게 한다. 6개 수학 벤치마크의 평균 pass@128은 Qwen2.5-7B에서 vanilla GRPO의 67.76%에서 70.71%로, Qwen2.5-Math-7B에서 69.30%에서 71.22%로 높아졌다.여러 풀이 방식을 시험해, 한 번의 정답률과 여러 번 시도했을 때의 성공 가능성을 함께 높이는 학습법을 연구했다.https://techllm.github.io/posts/understanding-evolution-strategies-for-llm-reasoning-broader-reasoning/Tue, 27 Oct 2026 07:34:28 +0900https://techllm.github.io/posts/understanding-evolution-strategies-for-llm-reasoning-broader-reasoning/이 논문은 매개변수에 작은 변화를 준 모델들을 평가해 학습 방향을 정하는 Evolution Strategies(ES)를 GRPO와 비교한다. 두 방법 모두 실험에서 Pass@1을 높였지만, ES는 GRPO보다 큰 K에서 평균 Pass@K가 높았고, GRPO는 일부 실험에서 학습 뒤 Pass@16·Pass@32가 기준 모델보다 낮았다. ES의 큰 매개변수 변화는 소수의 큰 변화에 성능 향상이 집중되는 현상과 함께 나타났으며, 평가한 설정에서는 기존 능력이 대체로 유지됐다.