Defined Terms on TechLLMhttps://techllm.github.io/tags/defined-terms/Recent content in Defined Terms on TechLLMHugokoSun, 23 Aug 2026 07:41:27 +0900계약서 마지막 검토에서 빠진 용어, 잘못된 참조, 앞뒤가 안 맞는 문장을 AI가 얼마나 잘 찾는지 재는 새 시험지를 만들었다.https://techllm.github.io/posts/contractscrub-a-benchmark-for-final-review-of-legal-contracts/Sun, 23 Aug 2026 07:41:27 +0900https://techllm.github.io/posts/contractscrub-a-benchmark-for-final-review-of-legal-contracts/계약서 '스크러빙'(거래 합의문 최종 검토에서 오류와 불일치를 찾는 작업)을 평가하기 위한 첫 번째 벤치마크 ContractScrub를 제안한다. 44개 CUAD 출처 계약서에 대해 9개 범주, 총 3,014개 주석 작업을 만들었고, 숙련 변호사들이 기존 오류를 주석하고 현실적인 추가 오류를 삽입했다. 주요 결과 표는 reasoning 설정의 9개 모델을 비교하며, 전체 부록 기준으로는 Gemma 4 26B까지 포함해 10개 모델을 다룬다.