에이전트평가

개요 법률 에이전트의 답을 LLM 심판이 채점한다고 칩시다. 한 과제에 채점 기준이 50개가 넘으면, 그걸 다 GPT-5.5나 Opus 4.7로 한 줄씩 돌리는 순간 평가 비용이 학습 비용보다 더 큰 부담이 됩니다. LangChain Labs와 Harvey 팀이 이 병목을 정면으로 다뤘습니다. 결론부터 말하면, 묶음 채점과 오픈 모델을 같이 쓰면 같은 정확도 근방에서 비용이 한 자릿수까지 떨어집니다. ...

개요 AI 모델 평가는 이미 넘쳐난다. 하지만 에이전트는 모델만으로 이루어지지 않는다. 어떤 도구를 쓰는지, 어떻게 단계를 계획하는지, 오류에서 어떻게 회복하는지 — 이 모든 것이 실제 성능을 결정한다. IBM Research가 공개한 Open Agent Leaderboard는 이 문제에 정면으로 답한다. 모델이 아니라 전체 에이전트 시스템을 비교하는 오픈 벤치마크로, 품질과 비용을 함께 보여준다. ...