https://techllm.github.io/tags/bald/Recent content in BALD on TechLLMHugokoThu, 13 Aug 2026 07:36:03 +0900https://techllm.github.io/posts/attention-path-fragility-as-an-uncertainty-signal-in-large-language-mo/Thu, 13 Aug 2026 07:36:03 +0900https://techllm.github.io/posts/attention-path-fragility-as-an-uncertainty-signal-in-large-language-mo/LLM의 답이 단순히 낮은 확률이라서 불확실한지뿐 아니라, 특정 어텐션 경로가 조금만 끊겨도 무너지는지로 불확실성을 읽는 학습-프리 신호 ASMI를 제안한다. ASMI는 어텐션 헤드를 무작위로 가린 여러 부분망의 예측 불일치를 상호정보량으로 측정하고, 동의어처럼 표면만 다른 후보의 흔들림은 의미 동의 커널로 할인한다. 근거 문서를 보고 답하는 QA에서는 확신은 높지만 경로가 취약한 오답을 찾아 confidence 필터의 남은 오류를 크게 줄였고, 폐북 지식 회상에서는 설계대로 MSP 같은 출력 기반 기준보다 낫지 않았다.