LLM Judge

개요 법률 에이전트의 답을 LLM 심판이 채점한다고 칩시다. 한 과제에 채점 기준이 50개가 넘으면, 그걸 다 GPT-5.5나 Opus 4.7로 한 줄씩 돌리는 순간 평가 비용이 학습 비용보다 더 큰 부담이 됩니다. LangChain Labs와 Harvey 팀이 이 병목을 정면으로 다뤘습니다. 결론부터 말하면, 묶음 채점과 오픈 모델을 같이 쓰면 같은 정확도 근방에서 비용이 한 자릿수까지 떨어집니다. ...