https://techllm.github.io/tags/large-language-model/Recent content in Large Language Model on TechLLMHugokoWed, 30 Sep 2026 07:32:37 +0900https://techllm.github.io/posts/language-models-can-control-their-own-attention/Wed, 30 Sep 2026 07:32:37 +0900https://techllm.github.io/posts/language-models-can-control-their-own-attention/저자들이 제안한 Declarative Attention(DA)은 모델이 chain-of-thought 안에 <global>, <focus>, <local> 태그를 넣어 어텐션할 영역을 직접 선언하게 하는 zero-shot 프로토콜이다. vLLM에 통합된 DA state machine이 태그를 파싱해 block-aligned KV cache mask를 동적으로 적용하고, 오프더셸프 모델 6종·15개 long-context 태스크에서 attention token을 31.1~52.0% 줄이되 정확도 손실은 1.27~2.75pp에 그친다.https://techllm.github.io/posts/toward-a-gricean-retreat-probing-llms-for-knowledge-boundaries-and-ref/Sat, 15 Aug 2026 07:33:16 +0900https://techllm.github.io/posts/toward-a-gricean-retreat-probing-llms-for-knowledge-boundaries-and-ref/이 논문은 LLM이 모르는 개체를 만났을 때 그럴듯한 구체 정보를 지어내는 대신, 더 일반적이지만 참일 가능성이 높은 표현으로 물러날 수 있는지를 분석한다. T-REx/LAMA 기반 벤치마크에서 Pythia 모델의 내부 활성값을 조사한 결과, 모델 안에는 개체가 학습 데이터 안에 있었는지에 대한 신호와 곧 생성할 답변이 구체적인지 일반적인지에 대한 신호가 모두 존재했다. 그러나 실제 생성에서는 두 신호가 결합되지 않아, 모델은 unknown synthetic entity에도 specific completion을 강하게 선호했다.https://techllm.github.io/posts/learning-when-to-trust-via-selective-context-preference-optimization/Fri, 07 Aug 2026 14:09:01 +0900https://techllm.github.io/posts/learning-when-to-trust-via-selective-context-preference-optimization/이 논문은 언어모델이 그럴듯하지만 틀린 문맥 신호에 휩쓸려 정답을 바꾸는 문제를 '선택적 신뢰(Selective Trust)'로 재정의한다. 23개 프론티어·오픈웨이트 모델을 MIST 벤치마크로 평가한 결과, 단일 오답 신호가 평균 17.1포인트의 정확도 손실을 일으키며 이 취약성은 보편적이었다. SCOPE라는 균형 잡힌 DPO 학습으로 Qwen3-4B·Llama-3.2-3B 두 계열에서 SC2W를 절반 가까이 줄이면서 clean·correct-context·irrelevant 제어 조건의 정확도를 모두 보존했다.