Tool-Augmented LLMs / Knowledge Conflicts on TechLLM

Tool-Augmented LLMs / Knowledge Conflicts on TechLLMhttps://techllm.github.io/tags/tool-augmented-llms-/-knowledge-conflicts/Recent content in Tool-Augmented LLMs / Knowledge Conflicts on TechLLMHugokoSun, 08 Nov 2026 07:32:58 +0900도구가 틀린 답을 줄 때 AI가 맞는 답을 지키는지, 둘 다 믿기 어려우면 충돌을 알리는지 평가한다.https://techllm.github.io/posts/memtoc-benchmarking-memory-tool-conflict-resolution-in-large-language/Sun, 08 Nov 2026 07:32:58 +0900https://techllm.github.io/posts/memtoc-benchmarking-memory-tool-conflict-resolution-in-large-language/MemToC는 도구가 돌려준 값과 모델의 내부 기억 중 어느 쪽이 맞는지 통제해, 모델이 단순히 한 출처를 선호하는지 아니면 정답에 따라 선택하는지를 측정하는 벤치마크다. 품질 검토를 통과한 사실 질문 542개로 6,504개 평가 에피소드를 구성해 open-weight 모델 5종을 평가했다. 네 instruction-tuned 모델은 기억만 맞고 도구가 틀린 경우 정답을 6.5–17.1%만 유지했으며, 두 출처가 모두 틀린 경우에도 78.4–86.0%에서 틀린 도구 값을 반복했다.