도구가 틀린 답을 줄 때 AI가 맞는 답을 지키는지, 둘 다 믿기 어려우면 충돌을 알리는지 평가한다.

도구가 틀린 답을 줄 때 AI가 맞는 답을 지키는지, 둘 다 믿기 어려우면 충돌을 알리는지 평가한다.

무엇이 문제였나 — 문제: AI는 검색이나 외부 도구가 준 값을 그대로 믿을 수 있지만, 그 값이 틀렸을 수도 있다. 어떻게 풀었나 — 평가 방법: AI가 도구 없이 낸 답과 도구가 준 답을 각각 정답과 비교해 네 가지 상황으로 나눈다. 그래서 뭐가 좋아졌나 — 발견: 모델들은 대체로 도구 답을 잘 따르지만, 도구가 틀렸을 때 기억이 맞아도 그 답을 지키는 경우는 드물었다.

사람이 기억한 내용과 데이터베이스 기록이 다를 때, 어느 쪽이 맞는지 확인하는 일과 비슷하다. 한쪽을 언제나 믿기보다 두 내용을 확인하고, 어느 쪽도 믿기 어려우면 모른다고 알리는 편이 낫다.

논문 정보

Arseniy Varlamov, Rishat Zinnatullin, Elisei Rykov, Alexander Panchenko, Ilseyar Alimova · Central University, Moscow; Ural Federal University, Yekaterinburg; Skolkovo Institute of Science and Technology, Moscow; AIRI, Moscow · arXiv (cs.CL), arXiv:2608.26295v1 · 2026

왜 중요한가

실제 서비스의 검색 결과나 데이터베이스에는 오래된 정보, 잘못 연결된 항목, 설정 오류가 있을 수 있다. AI가 도구를 무조건 따르거나 무조건 의심하면 모두 문제가 되므로, 도구가 맞을 때는 따르고 틀릴 때는 이를 알아차리는지 따로 평가할 필요가 있다.

핵심 지표

어떻게 동작하나

MemToC는 ToolHop의 3,912개 하위 질문을 중복 제거하고 사실 질문을 선별한 뒤, 구조 검토와 두 명의 검수자에 의한 품질 관리를 거쳐 542개 질문을 구성했다. 각 질문에 검증된 정답 g와 통제된 도구 반환 r을 마련하고, 모델별·문항별로 먼저 도구 없이 낸 답 m을 얻는다. g, m, r의 일치 여부로 두 출처 모두 정답, 기억만 정답, 도구만 정답, 둘 다 오답의 네 상황을 구분하며, 도구 오류와 무반환 조건은 별도 대조 조건으로 평가한다. 질문 542개에 도구 조건 4개와 지시문 표현 3종을 적용해 6,504개 평가 에피소드를 만들었다. 오류 도구 값은 정답과 같은 종류의 그럴듯한 대체값으로 구성했다. prompting, LoRA 기반 SFT와 DPO를 비교했고, ToolHop chain 단위 교차 검증으로 같은 사실을 공유하는 질문이 학습과 평가에 나뉘지 않도록 했다. 성공 기준은 정답 유지율이 유의하게 개선되고 올바른 도구 따르기에서 유의한 감소가 검출되지 않는 것이다. 신뢰구간은 질문 단위 군집 부트스트랩으로 구하고, 대응 비교에는 Holm 보정이 적용된 부호 뒤집기 순열 검정을 사용했다.

핵심 수식:

C_m = 1[m = g],  C_r = 1[r = g]
y* = { g: (C_m,C_r)=(1,1); m: (1,0); r: (0,1); flag conflict and abstain: (0,0) }
Retention = Pr[y = g | m = g, r ≠ g]
Correct-tool following = Pr[y = r | m ≠ g, r = g]

g는 검증된 정답, m은 도구 없이 모델이 낸 답, r은 도구가 돌려준 값, y는 모델의 최종 응답이다. C_m과 C_r은 각각 m과 r이 g와 일치하는지를 나타낸다. 두 출처가 모두 틀리면 목표 행동은 충돌을 알리고 답변을 보류하는 것이다.

한계와 주의할 점

• 핵심 결과는 ToolHop 기반 단일 벤치마크와 주로 7–9B급 open-weight 모델 5종에 한정된다. proprietary 모델은 평가하지 않았다.
• 오류 도구 값은 실행된 도구 응답에 삽입한 유형 일치형 합성 대체값이다. 자동 생성된 distractor 426/575개는 단일 생성 절차에서 나왔으며, 독립된 두 번째 품질 통제 구축 방식은 평가되지 않았다.
• 모델에게 도구 없이 답을 반드시 내도록 요구했기 때문에 측정된 정답 유지율은 일반적인 상호작용에서의 능력을 상한으로 볼 수 있다. 이 절차는 모델의 내부 믿음을 직접 측정하지 않는다.
• 사전 등록에 포함된 학습 없는 conflict-aware decoding 기준선은 평가하지 않았다. 추가 학습 seed도 성공 기준을 통과한 두 모델에서만 실행했다.
• 도구 오류 뒤 답변 보류는 구조화된 service-unavailable 반환 하나로 측정됐다. 오류 종류에 따라 행동이 달라졌고, 핵심 사람 검수는 저자들이 수행해 외부 검증이 남아 있다.
• 외부 전이 평가는 FaithEval과 검증된 ARC-Challenge 문항으로 구성했지만, 검증 완료된 소규모 다지선다 평가에 한정되며 결과는 모델과 정보 제시 방식에 따라 달랐다.
• 무비판적으로 도구를 따름: 두 출처가 모두 틀려도 78.4–86.0%의 경우 틀린 도구 값을 반복했다. 검토한 충돌 응답 120개 중 충돌을 명시한 것은 0개였다.
• 전반적인 도구 불신: Mistral SFT는 정답 유지율을 41.8%포인트 높였지만, 올바른 도구 따르기는 27.6%포인트, 틀린 도구 따르기는 40.7%포인트, 도구 오류 뒤 답변 보류는 57.7%포인트 낮췄다.
• 도구 선택 절차의 실패: Llama-3.1-8B-Instruct는 지정된 스키마에 맞춘 도구 호출을 0.992의 비율로 따랐지만, 제약 없는 자동 선택에서는 0.328이었다. 분석상 문제는 충돌 판단보다 스키마에 맞지 않는 인자 생성에 있었다.
• 충돌을 알리지 않는 응답: 모델이 틀린 도구 값을 답으로 복사하면서도 사용자에게 두 정보가 다르다는 점을 거의 알리지 않았다. 직접 검토한 120개 응답에서는 한 건도 충돌을 명시하지 않았다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

도구 응답 뒤 정답 확인 단계 추가

도구 응답을 받은 뒤 모델의 도구 없는 답, 도구 반환값, 독립적으로 확인된 정답 또는 신뢰 신호를 함께 살피는 단계를 둔다. 확인 결과에 따라 기존 답을 유지하거나 도구 답을 따르거나 충돌을 알리고 답변을 보류한다. 운영 환경에서는 검증 정답을 제공할 수 있는 기준 출처와 출처 정보를 연결한다. 정답 유지와 올바른 도구 따르기를 함께 평가해 전반적인 도구 회피를 개선으로 오인하지 않도록 한다.

적용 지점 — 도구 응답 후 답변 결정 단계

기대 효과 — 논문에서 두 출처가 모두 틀렸을 때의 틀린 도구 따르기 비율은 78.4–86.0%였다. 이 비율을 줄이면서 올바른 도구 따르기(86.0–93.1%)를 유지하는 것을 후속 평가 목표로 삼을 수 있다. Llama와 Gemma의 SFT는 정답 유지율을 각각 14.3, 17.0%포인트 높였으며 올바른 도구 따르기의 유의한 감소는 검출되지 않았다.

함수 호출 인자를 스키마에 맞게 생성

함수 호출에 사용할 도구 이름과 인자가 허용된 스키마를 따르도록 디코딩을 제한한다. 논문의 개발 단계 시험에서 Llama-3.1-8B-Instruct는 지정된 스키마 호출을 0.992의 비율로 따랐지만 제약 없는 자동 선택에서는 0.328이었다. 같은 모델의 디코더에 스키마 제약을 적용하자 0.992로 회복됐고, 선호 학습만 적용한 조건은 0.360이었다. 따라서 형식 오류는 답변 중재 학습과 구분해 도구 호출 단계에서 다룬다.

적용 지점 — 함수 호출의 도구 선택과 인자 생성

기대 효과 — 논문의 324개 개발 단계 에피소드에서 Llama-3.1-8B-Instruct의 도구 호출 따르기 비율이 제약 없는 자동 선택 0.328에서 스키마 제약 적용 후 0.992로 올라갔다. 이 결과는 해당 시험과 모델에 한정된다.

프롬프트 표현별 개선을 배포 전 다시 확인

질문과 도구 반환값을 고정하고 Reference, Paraphrase A, Paraphrase B에서 각각 평가한다. 각 표현별로 정답 유지와 올바른 도구 따르기를 확인하며, 도구를 검색 결과처럼 보여 주는 방식도 별도로 비교한다. 전체 평균과 표현별 결과를 함께 검토해 한 표현에서만 생긴 개선이 전체에서의 개선으로 보이지 않게 한다.

적용 지점 — 프롬프트와 정보 제시 방식의 회귀 평가

기대 효과 — 논문에서 모든 지시문 표현별로 성공 기준을 만족한 방법은 Gemma SFT뿐이었다. Mistral DPO는 전체 결과에서는 기준을 충족하지 못했지만 Paraphrase A에서는 충족했다.

오류 종류에 따라 답변 보류와 기억 사용을 구분

오류 응답을 하나의 범주로 묶지 말고 오류 종류별로 답변 보류와 모델 기억에 따른 답변을 확인한다. 논문에서 Qwen2.5-7B-Instruct는 service-unavailable 응답에서는 0.89의 비율로 보류했지만 timeout과 permission-denied에서는 각각 0.43이었다. Llama-3.1-8B-Instruct는 permission-denied일 때 기억이 맞는 질문의 정답 기억 사용이 0.09에서 0.35로 늘었지만, 기억이 틀린 질문에서는 답변 보류가 0.90에서 0.54로 줄었다. 오류 종류와 기억의 정답 여부를 나눠 평가한다.

적용 지점 — 도구 오류 처리와 답변 종료 정책

기대 효과 — 오류 종류에 따라 달라지는 답변 보류와 기억 사용을 확인해 한 가지 오류 응답에 대한 비율이 모든 도구 장애 상황을 대표한다고 판단하는 일을 줄인다. 종류별 분리 정책의 개선 효과 자체는 논문에서 검증하지 않았다.

모델별 학습 결과로 어댑터 선택

ToolHop chain과 관련 질문을 같은 학습 또는 평가 묶음에 두고, 모델별로 교차 검증을 진행한다. 정답 유지율이 개선되고 올바른 도구 따르기가 유의하게 나빠지지 않는지를 함께 확인한다. 기준을 통과하지 못한 모델에는 어댑터를 적용하지 않는다. 논문에서는 SFT와 DPO가 같은 네 모델 중 두 모델에서 기준을 통과했고, Mistral SFT에서는 정답 유지 증가와 함께 올바른 도구 따르기 및 오류 뒤 답변 보류가 크게 줄었다.

적용 지점 — 모델별 LoRA 어댑터 선택과 적용

기대 효과 — 논문에서 Llama와 Gemma의 SFT 정답 유지율 증가는 각각 14.3, 17.0%포인트였고 올바른 도구 따르기의 유의한 감소는 검출되지 않았다. 같은 기준을 Qwen과 Mistral에 일괄 적용할 수 없다는 점도 결과가 보여 준다.

단계별 도입 로드맵

원문 PDF: 2026-08-28-memtoc-benchmarking-memory-tool-conflict-resolution-in-large-language-mo.pdf