도구가 틀린 답을 줄 때 AI가 맞는 답을 지키는지, 둘 다 믿기 어려우면 충돌을 알리는지 평가한다.
도구가 틀린 답을 줄 때 AI가 맞는 답을 지키는지, 둘 다 믿기 어려우면 충돌을 알리는지 평가한다. 무엇이 문제였나 — 문제: AI는 검색이나 외부 도구가 준 값을 그대로 믿을 수 있지만, 그 값이 틀렸을 수도 있다. 어떻게 풀었나 — 평가 방법: AI가 도구 없이 낸 답과 도구가 준 답을 각각 정답과 비교해 네 가지 상황으로 나눈다. 그래서 뭐가 좋아졌나 — 발견: 모델들은 대체로 도구 답을 잘 따르지만, 도구가 틀렸을 때 기억이 맞아도 그 답을 지키는 경우는 드물었다. ...