Information Retrieval / LLM Evaluation on TechLLM

Information Retrieval / LLM Evaluation on TechLLMhttps://techllm.github.io/tags/information-retrieval-/-llm-evaluation/Recent content in Information Retrieval / LLM Evaluation on TechLLMHugokoThu, 01 Oct 2026 07:34:00 +0900여러 검색 모델을 비교할 때, 각 모델이 가져온 문서를 합쳐 한 번만 채점하고 그 점수를 계속 재사용해서 평가 비용을 크게 줄이는 방법이다.https://techllm.github.io/posts/incremental-pooled-llm-evaluation-for-cost-effective-retrieval-model-s/Thu, 01 Oct 2026 07:34:00 +0900https://techllm.github.io/posts/incremental-pooled-llm-evaluation-for-cost-effective-retrieval-model-s/검색 모델 N개를 평가할 때 각 시스템의 상위 K문서를 모두 LLM 심사위원에게 개별적으로 판정시키는 O(N·Q·K) 비효율을, 시스템들이 가져오는 문서의 합집합을 한 번만 심사하고 그 판정을 재사용하는 풀링(pooled) 방식으로 줄였다. 4개 공개 벤치마크에서 인간 판정(gold qrels)과의 nDCG@10 Spearman 상관이 0.69–0.95, 97%의 시스템 간 순서가 qrels 부트스트랩 불확실성 범위 안에서 보존됨을 보였고, 62개 구성 production 배포에서 4.9× 비용 절감(총 $800)을 달성했다.