에이전트 평가를 끝까지 돌리지 않고, 중간 행동만 보고 성공할지 실패할지 미리 판단해 비용을 줄이는 방법이다

에이전트 평가를 끝까지 돌리지 않고, 중간 행동만 보고 성공할지 실패할지 미리 판단해 비용을 줄이는 방법이다

무엇이 문제였나 — 에이전트 평가는 한 번 돌릴 때도 비싸고, 개발 중에는 여러 번 반복해야 해서 부담이 크다 어떻게 풀었나 — 이 논문은 실행 중간의 행동 기록을 보고 결과가 충분히 뻔해진 순간 평가를 멈춘다 그래서 뭐가 좋아졌나 — 그 결과 단계와 토큰 사용량을 꽤 줄이면서도 최종 점수와 순위는 거의 비슷하게 유지했다

시험 문제를 풀 때 풀이 과정 중간만 봐도 정답을 맞힐지 틀릴지 거의 확실한 경우가 있다. 그런 경우 끝까지 지켜보지 않고도 결과를 기록해 시간을 아끼는 방식과 비슷하다.

논문 정보

Yuling Shi, Zhensu Sun, Junsen Dong, et al. · Shanghai Jiao Tong University; Singapore Management University; East China Normal University; Shanghai Innovation Institute · arXiv preprint (2609.02783) · 2026

왜 중요한가

에이전트 개발에서는 프롬프트, 도구 사용 방식, 모델을 조금씩 바꿀 때마다 평가를 다시 해야 한다. 평가가 너무 비싸면 실험 횟수가 줄고 개선 속도도 느려진다. EarlyEval은 완주하지 않아도 결과가 분명한 실행을 일찍 끊어, 개발 중 반복 평가를 더 자주 할 수 있게 만든다.

핵심 지표

어떻게 동작하나

EarlyEval은 에이전트의 부분 궤적에서 3가지 특징 패밀리(행동 115개, 텍스트 320개, 정답 82개, 총 517개)를 추출한 뒤, LightGBM으로 학습된 두 분류기(성공/실패)에 입력한다. 매 단계마다 두 분류기의 Platt 스케일링 보정 확률을 미리 정한 임계값과 비교해, 성공 확률 또는 실패 확률 중 하나가 임계값을 넘으면 즉시 실행을 종료하고 해당 예측 결과를 기록한다. 학습과 평가는 한 에이전트를 완전히 빼고 나머지 에이전트의 과거 궤적으로 학습하는 leave-one-agent-out 방식으로 진행된다. 임계값은 정확도와 비용 절감 사이의 트레이드오프를 조절하는 손잡이이며, 입력 토큰 절감은 누적 컨텍스트가 커지는 후반부를 끊기 때문에 단계 절감보다 더 크게 나타난다.

핵심 수식:

p = \sigma\big(a\,\text{logit}(\hat{s}) + b\big)
\text{halt at step } k \text{ if } p_{+} \geq s \;\text{ or }\; p_{-} \geq f

LightGBM의 원점수 ŝ를 Platt 스케일링으로 보정해 확률 p로 바꾼다. 성공 확률 p+가 성공 임계값 s 이상이면 성공으로, 실패 확률 p-가 실패 임계값 f 이상이면 실패로 예측하고 실행을 멈춘다. a와 b는 검증 분할에서 학습되는 1차원 로지스틱 회귀 파라미터다.

한계와 주의할 점

• 라벨된 과거 궤적이 없는 신규 벤치마크에는 바로 적용하기 어렵다. 첫 평가가 가장 비싼 시점인데 그때는 학습 데이터가 부족하다
• 임계값을 운영 목적에 맞게 정해야 한다. 낮추면 더 많이 절약하지만 점수 왜곡이 커지고, 높이면 정확도는 올라가지만 절감 효과가 작아진다
• 스캐폴드 의존성이 있어 학습 때 보지 못한 스캐폴드가 등장하면 성공 분류기 정밀도가 크게 떨어진다
• 조기 종료는 1-2pp 수준의 체계적 점수 차이를 만들 수 있어 공식 리더보드나 출판용 최종 점수는 풀 런으로 확인해야 한다
• 정답 패치가 있는 SWE-bench와 없는 TerminalBench/Toolathlon 사이에서 사용할 수 있는 특징이 달라진다
• 참조 정답이 없는 TerminalBench와 Toolathlon에서는 성공 신호가 약해진다. TerminalBench no-same-scaffold에서 성공 분류기 정밀도는 61.4-77.0% 수준이고, Toolathlon은 0.90 이상에서 성공 분류기 커버리지가 0%가 된다
• 학습 풀에 없던 스캐폴드가 등장하면 행동 특징 분포가 달라져 성공 분류기 성능이 손상된다. TerminalBench에서 no-same-model 최고 정밀도 82.7%보다 no-same-scaffold 최고 정밀도 69.0%가 낮다
• 임계값을 0.95에서 0.97로 높이면 SWE-bench dual 단계 절감률이 26.0%에서 16.6%로 감소해 절감 효과가 크게 줄어든다
• 성공·실패 두 신호는 거의 같은 실행에서 동시에 발화하지 않아, 벤치마크별로 더 신뢰할 수 있는 한쪽 분류기를 따로 검증해야 한다

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

에이전트 자기 조기 종료 분류기 임베딩

에이전트 런타임에 EarlyEval과 유사한 경량 LightGBM 이진 분류기 쌍을 넣는다. 매 단계 행동·텍스트 특징을 추출해 두 확률을 계산하고, 임계값을 넘으면 현재 결과를 확정하거나 사람에게 넘긴다. 다만 논문은 평가용 과거 라벨 궤적을 전제로 하므로, 실제 배포에서는 같은 유형 작업의 성공/실패 로그를 따로 모아야 한다.

적용 지점 — 장기 실행 에이전트의 자기 모니터링 단계

기대 효과 — 평가 환경에서는 권장 운영점 기준 13-26% 단계 절감과 최대 44.1% 입력 토큰 절감이 확인됐으며, 유사한 반복 실행 환경에서도 비용 절감 가능성이 있다

반복 RAG 검색 라운드 조기 종료기

반복 RAG에서 매 검색 라운드마다 누적 문서, 쿼리, 응답 특징으로 ‘더 검색해도 결과가 크게 바뀌지 않을 가능성’을 학습한다. 충분성 확률이 임계값을 넘으면 검색 루프를 종료하고 최종 답변 생성으로 넘어간다. EarlyEval의 행동 특징 설계와 확률 보정 절차를 참고할 수 있지만, RAG에서는 별도의 정답 라벨과 충분성 정의가 필요하다.

적용 지점 — 반복 RAG 파이프라인의 검색 라운드 결정 게이트

기대 효과 — 논문에서 입력 토큰 절감이 단계 절감보다 크게 나타났으므로, 누적 컨텍스트가 커지는 반복 검색에서도 유사한 비용 절감 여지가 있다

코드 패치 테스트 스위트 조기 종료 검사기

SWE-bench처럼 테스트 결과가 있는 평가 환경에서 부분 테스트 결과, 에러 종류, 반복 호출 여부를 특징으로 추출하고, 남은 테스트가 최종 판정을 바꿀 가능성이 낮은지 분류한다. 임계값을 넘으면 테스트 실행을 종료하고 현재 판정을 채택한다. EarlyEval의 failure predictor가 여러 벤치마크에서 높은 정밀도를 보인 점은 실패 조기 감지 아이디어의 근거가 된다.

적용 지점 — 코드 에이전트 패치에 대한 자동 테스트 실행 단계

기대 효과 — 논문 자체는 에이전트 실행 단계 절감을 보였으며, 테스트 실행 조기 종료는 같은 원리를 테스트 파이프라인에 확장하는 후속 아이디어다

단계별 도입 로드맵

원문 PDF: 2026-09-04-earlyeval-cheaper-agent-evaluation-via-early-outcome-prediction.pdf