https://techllm.github.io/tags/evolution-strategies/Recent content in Evolution Strategies on TechLLMHugokoTue, 27 Oct 2026 07:34:28 +0900https://techllm.github.io/posts/understanding-evolution-strategies-for-llm-reasoning-broader-reasoning/Tue, 27 Oct 2026 07:34:28 +0900https://techllm.github.io/posts/understanding-evolution-strategies-for-llm-reasoning-broader-reasoning/이 논문은 매개변수에 작은 변화를 준 모델들을 평가해 학습 방향을 정하는 Evolution Strategies(ES)를 GRPO와 비교한다. 두 방법 모두 실험에서 Pass@1을 높였지만, ES는 GRPO보다 큰 K에서 평균 Pass@K가 높았고, GRPO는 일부 실험에서 학습 뒤 Pass@16·Pass@32가 기준 모델보다 낮았다. ES의 큰 매개변수 변화는 소수의 큰 변화에 성능 향상이 집중되는 현상과 함께 나타났으며, 평가한 설정에서는 기존 능력이 대체로 유지됐다.