AI 답이 튼튼한 여러 근거에 기대고 있는지, 아니면 한두 길이 막히면 바로 흔들리는지 확인해 위험한 답을 찾는 방법이다.
AI 답이 튼튼한 여러 근거에 기대고 있는지, 아니면 한두 길이 막히면 바로 흔들리는지 확인해 위험한 답을 찾는 방법이다. 무엇이 문제였나 — 모델이 답을 낼 때 쓰는 여러 어텐션 머리 중 일부를 일부러 꺼 보고, 같은 답이 계속 안정적으로 나오는지 본다. 어떻게 풀었나 — 근거 문서를 읽고 답해야 하는 문제에서는, 확신은 높아 보여도 내부 경로가 흔들리는 답이 실제로 더 자주 틀렸다. 그래서 뭐가 좋아졌나 — 반대로 문서 없이 기억만으로 맞혀야 하는 문제에서는 이 방법이 잘 통하지 않았고, 논문은 이 실패도 설계상 예상된 경계라고 본다. ...