RLVR on TechLLMhttps://techllm.github.io/tags/rlvr/Recent content in RLVR on TechLLMHugokoTue, 03 Nov 2026 07:35:27 +0900작은 AI가 만든 풀이 앞부분을 학습 중에 큰 AI에게 보여 주고, 큰 AI가 나머지를 이어 풀도록 해 더 다양한 답을 찾게 하는 연구다.https://techllm.github.io/posts/boosting-llm-exploration-via-weak-model-guidance-in-rlvr/Tue, 03 Nov 2026 07:35:27 +0900https://techllm.github.io/posts/boosting-llm-exploration-via-weak-model-guidance-in-rlvr/이 논문은 RLVR 학습에서 큰 모델의 정책 엔트로피가 빠르게 낮아져 여러 정답 경로를 찾는 폭이 줄어드는 문제를 완화한다. 작은 보조 모델이 만든 풀이를 일부만 남겨 prefix로 사용하고, 일정 비율의 학습 사례에서만 큰 모델이 그 앞부분을 이어 풀게 한다. 6개 수학 벤치마크의 평균 pass@128은 Qwen2.5-7B에서 vanilla GRPO의 67.76%에서 70.71%로, Qwen2.5-Math-7B에서 69.30%에서 71.22%로 높아졌다.문제 풀이 AI가 답만 내는 것이 아니라, 풀이 과정과 단위까지 따로 검산하도록 만든 연구다.https://techllm.github.io/posts/a-verifier-guided-explainable-reasoning-framework-with-gold-anchored-q/Sun, 27 Sep 2026 07:33:36 +0900https://techllm.github.io/posts/a-verifier-guided-explainable-reasoning-framework-with-gold-anchored-q/교육용 질문응답에서 LLM이 그럴듯하지만 검증하기 어려운 추론을 생성하는 문제를 해결하기 위해, gold answer에 정렬된 QLoRA 미세조정과 작업별 기호 검증기(FOL/Z3, 물리 공식·단위 솔버)를 결합한 group-relative RLVR 프레임워크를 제안한다. 438개 검증 샘플에서 P3(추론 명시성)는 50.68%에서 72.20%로 +21.52pt 상승했고, P1(최종 정답)과 P2(근거/단위 일관성)는 보정 SFT 기준선과 거의 같은 수준을 유지했다.