LUPI on TechLLMhttps://techllm.github.io/tags/lupi/Recent content in LUPI on TechLLMHugokoSat, 24 Oct 2026 07:34:54 +0900새로운 코딩 AI를 평가할 때, 과거 다른 AI들의 문제 풀이 과정을 참고하여 단 10%의 핵심 문제만 풀게 하고도 전체 실력과 순위를 정확히 맞히는 기술이다.https://techllm.github.io/posts/efficient-swe-agent-benchmarking-via-trajectory-aware-evaluation/Sat, 24 Oct 2026 07:34:54 +0900https://techllm.github.io/posts/efficient-swe-agent-benchmarking-via-trajectory-aware-evaluation/PTA-IRT는 과거 소프트웨어 에이전트가 문제를 푼 과정 요약을 평가에 활용해, 일부 과제만 실행하고도 전체 벤치마크 성적과 모델 순위를 추정한다. 네 가지 SWE-bench에서 10% 과제만 평가했을 때 기존 IRT 기준 방법들보다 점수 오차와 순위 복원 성능이 전반적으로 좋았으며, 과정 정보는 새 에이전트의 평가 시점이 아니라 과거 데이터로 학습할 때 사용된다.