여러 검색 모델을 비교할 때, 각 모델이 가져온 문서를 합쳐 한 번만 채점하고 그 점수를 계속 재사용해서 평가 비용을 크게 줄이는 방법이다.
여러 검색 모델을 비교할 때, 각 모델이 가져온 문서를 합쳐 한 번만 채점하고 그 점수를 계속 재사용해서 평가 비용을 크게 줄이는 방법이다. 무엇이 문제였나 — 새 임베딩 모델이 나올 때마다 검색 품질을 다시 측정하려면 사람이 문서 수만 개를 새로 채점해야 해서 비용이 막대했다. 어떻게 풀었나 — 모든 후보 모델이 가져온 문서의 합집합을 LLM 심사위원이 한 번만 채점하고, 새 모델이 추가될 때는 그 모델이 새로 가져온 문서만 추가로 채점한다. 그래서 뭐가 좋아졌나 — 그 결과 4.9배 비용 절감, 65–80% 재사용률, 인간 채점과 거의 같은 순위(상관 0.69–0.95)를 production에서 확인했다. ...