개요

AI 모델 평가는 이미 넘쳐난다. 하지만 에이전트는 모델만으로 이루어지지 않는다. 어떤 도구를 쓰는지, 어떻게 단계를 계획하는지, 오류에서 어떻게 회복하는지 — 이 모든 것이 실제 성능을 결정한다. IBM Research가 공개한 Open Agent Leaderboard는 이 문제에 정면으로 답한다. 모델이 아니라 전체 에이전트 시스템을 비교하는 오픈 벤치마크로, 품질과 비용을 함께 보여준다.

핵심 요약

  • 평가 대상: 모델이 아닌 전체 에이전트 시스템 (모델 + 도구 + 플래닝 + 메모리)
  • 6개 벤치마크: SWE-Bench Verified, BrowseComp+, AppWorld, tau2-Bench 항공·유통·통신
  • 핵심 발견: 같은 모델도 에이전트 구조에 따라 성능·비용 차이 발생
  • 오픈소스: Exgentic 프레임워크 + 논문 + 리더보드 전면 공개
  • 오픈웨이트 현황: DeepSeek V3.2·Kimi K2.5 추가, 클로즈드 모델 대비 18~29%p 격차

본문

에이전트 평가의 맹점

기존 AI 평가 대부분은 모델 자체의 점수를 본다. 하지만 에이전트를 실제 배포할 때는 모델 하나를 고르는 게 아니다. 어떤 도구를 쓸 수 있는지, 어떻게 단계를 계획하는지, 기억은 어떻게 관리하는지, 오류 발생 시 어떻게 회복하는지 — 이 중 하나만 바뀌어도 같은 모델이 전혀 다른 결과를 낸다.

IBM Research가 Open Agent Leaderboard를 만든 이유가 여기에 있다. 리더보드의 각 행은 특정 에이전트와 특정 모델의 조합으로 이루어진 완전한 시스템이며, 6개 벤치마크 전반의 평균 성공률, 태스크당 평균 비용, 벤치마크별 세부 성적을 함께 제공한다.

6개 벤치마크의 설계 원칙

리더보드는 실제 업무 환경을 최대한 반영한 6개 벤치마크로 구성된다:

  • SWE-Bench Verified: 실제 코드 저장소의 버그 수정
  • BrowseComp+: 웹 전반에 걸친 복잡한 리서치
  • AppWorld: 수백 개 앱과 액션을 넘나드는 개인 업무 처리
  • tau2-Bench 항공·유통: 회사 정책을 따르는 고객 서비스
  • tau2-Bench 통신: 회사 정책을 따르는 기술 지원

각 벤치마크는 코딩, 열린 리서치, 광범위한 행동 공간, 규칙 기반 대화 등 서로 다른 역량을 테스트한다. IBM Research는 이 다양한 벤치마크들이 같은 프로토콜로 작동하도록 통합 구조를 만들었다. 태스크(무엇을 할지), 컨텍스트(무엇을 알지), 액션(무엇이 허용되는지) — 세 가지 요소로 통일해, 에이전트마다 다른 언어를 쓰지 않아도 된다.

핵심 발견: 모델보다 에이전트가 결과를 바꾼다

리더보드 상위 3개 시스템은 모두 같은 모델을 쓴다. 그런데 성능과 비용이 모두 다르다. 감싸고 있는 에이전트 시스템이 다르기 때문이다.

비용 격차도 주목할 만하다. 상위 5개 중 가장 효율적인 구성은 가장 강력한 구성의 일부 비용만으로 운영된다. 이는 단순히 “어떤 모델이 좋은가"를 넘어 “어떤 시스템이 실제로 배포할 가치가 있는가"를 판단하게 해준다.

놀라운 발견도 있다. 범용 에이전트가 이미 전문화 에이전트와 경쟁한다. 벤치마크별 튜닝 없이 구성된 범용 에이전트가, 해당 태스크를 위해 특별히 설계된 시스템과 대등하거나 앞서는 경우가 여러 사례에서 나타났다.

실패 비용의 역설

성공률만 봐서는 알 수 없는 부분도 있다. 실패한 실행은 성공한 실행보다 20~54% 더 많은 비용이 든다. 어떤 에이전트는 빠르고 저렴하게 실패하고, 어떤 에이전트는 긴 시간과 높은 비용을 태우고 나서야 포기한다. 프로덕션에서 에이전트를 운영한다면, 실패 패턴이 청구서를 성공만큼 좌우한다.

도구 선별(tool shortlisting) — 에이전트가 모든 도구를 뒤지는 대신 관련 도구에 집중하게 하는 기법 — 은 테스트한 모든 모델에서 성능을 향상시켰고, 원래 실패하던 구성을 실용적으로 바꾸었다.

오픈웨이트 모델 현황

출시 이후 DeepSeek V3.2와 Kimi K2.5가 추가되면서 리더보드는 5개 모델 × 5개 에이전트 × 6개 벤치마크 구조로 확장됐다. 오픈웨이트 모델은 특정 조합에서 경쟁력을 보이지만, 클로즈드 소스 프론티어 모델 대비 평균 18~29%p 격차가 여전히 존재한다.

실무자가 볼 핵심 포인트

  1. 에이전트 선택 기준이 달라진다 — 모델 벤치마크 점수만 보던 방식에서, 전체 시스템의 성능·비용 프로파일을 비교하는 방식으로 전환해야 한다.
  2. 실패 비용 모델링 필수 — 프로덕션 비용 계산 시 성공 케이스만이 아니라 실패 케이스의 비용도 반드시 포함해야 한다. 실패가 최대 54% 더 비싸다.
  3. 도구 선별은 즉시 적용 가능한 개선책 — Tool shortlisting은 복잡한 아키텍처 변경 없이 모든 모델에서 성능을 끌어올렸다. 지금 당장 적용해볼 수 있는 최우선 최적화 기법이다.
  4. Exgentic으로 직접 재현 가능 — 리더보드 결과를 내 에이전트로 재현하거나 새 에이전트를 제출할 수 있다. 자체 에이전트 평가 파이프라인을 구축하는 기반으로도 활용 가능하다.

원문: The Open Agent Leaderboard — IBM Research