코드를 여러 번 고치고 다시 살펴보는 과정을 AI가 얼마나 잘 따라가는지 시험하는 자료집을 만든 연구입니다.
코드를 여러 번 고치고 다시 살펴보는 과정을 AI가 얼마나 잘 따라가는지 시험하는 자료집을 만든 연구입니다. 무엇이 문제였나 — 기존 시험은 대개 코드 변경을 한 번 보고 문제를 찾는 방식이었습니다. 어떻게 풀었나 — 이 연구는 실제 코드 변경과 검토 기록을 여러 차례 이어 붙이고, 문제마다 새로 발견됐는지, 남아 있는지, 해결됐는지 표시했습니다. 그래서 뭐가 좋아졌나 — 시험 결과, AI는 앞서 나온 문제를 잊거나 이미 해결된 문제를 다시 문제라고 말하는 경우가 있었습니다. ...