Declarative Attention on TechLLMhttps://techllm.github.io/tags/declarative-attention/Recent content in Declarative Attention on TechLLMHugokoWed, 30 Sep 2026 07:32:37 +0900언어 모델이 답을 쓰는 도중에 '전체를 볼지, 특정 부분만 볼지, 방금 쓴 내용만 볼지'를 직접 표시하게 해서 긴 문서를 더 싸게 읽게 만드는 방법이다.https://techllm.github.io/posts/language-models-can-control-their-own-attention/Wed, 30 Sep 2026 07:32:37 +0900https://techllm.github.io/posts/language-models-can-control-their-own-attention/저자들이 제안한 Declarative Attention(DA)은 모델이 chain-of-thought 안에 <global>, <focus>, <local> 태그를 넣어 어텐션할 영역을 직접 선언하게 하는 zero-shot 프로토콜이다. vLLM에 통합된 DA state machine이 태그를 파싱해 block-aligned KV cache mask를 동적으로 적용하고, 오프더셸프 모델 6종·15개 long-context 태스크에서 attention token을 31.1~52.0% 줄이되 정확도 손실은 1.27~2.75pp에 그친다.