새로운 코딩 AI를 평가할 때, 과거 다른 AI들의 문제 풀이 과정을 참고하여 단 10%의 핵심 문제만 풀게 하고도 전체 실력과 순위를 정확히 맞히는 기술이다.
새로운 코딩 AI를 평가할 때, 과거 다른 AI들의 문제 풀이 과정을 참고하여 단 10%의 핵심 문제만 풀게 하고도 전체 실력과 순위를 정확히 맞히는 기술이다. 무엇이 문제였나 — 소프트웨어 개발 문제를 AI에게 일일이 다 풀게 해 실력을 시험하려면 시간과 비용이 막대하게 든다. 어떻게 풀었나 — 이전 AI들이 코드를 살펴보고 수정한 풀이 과정을 분석해 두고, 실력 차이를 가장 잘 가려낼 수 있는 소수의 핵심 문제만 골라낸다. 그래서 뭐가 좋아졌나 — 네 가지 실제 벤치마크에서 전체 과제의 10%만 평가하고도 기존 비교 기법들보다 전체 점수와 순위를 훨씬 더 정확하게 예측했다. ...