https://techllm.github.io/tags/kv-cache/Recent content in KV Cache on TechLLMHugokoWed, 07 Oct 2026 07:32:31 +0900https://techllm.github.io/posts/unison-a-co-designed-near-memory-scheduler-of-session-kv-residency-for/Wed, 07 Oct 2026 07:32:31 +0900https://techllm.github.io/posts/unison-a-co-designed-near-memory-scheduler-of-session-kv-residency-for/LLM 에이전트 루프는 툴 대기 동안 세션 KV 캐시를 유지해야 하므로, 기존의 recency·timeout 정책은 살아 있는 대기를 cold로 잘못 취급한다. UNISON은 메모리 계층 옆에 배치된 이벤트 기반 근메모리 스케줄러로, SPEAR(eviction)와 TIDE(tier placement)가 단일 랭킹 상태를 공유하며 gap EMA와 turn-indexed hazard로 다음 참조 거리를 근사한다.https://techllm.github.io/posts/language-models-can-control-their-own-attention/Wed, 30 Sep 2026 07:32:37 +0900https://techllm.github.io/posts/language-models-can-control-their-own-attention/저자들이 제안한 Declarative Attention(DA)은 모델이 chain-of-thought 안에 <global>, <focus>, <local> 태그를 넣어 어텐션할 영역을 직접 선언하게 하는 zero-shot 프로토콜이다. vLLM에 통합된 DA state machine이 태그를 파싱해 block-aligned KV cache mask를 동적으로 적용하고, 오프더셸프 모델 6종·15개 long-context 태스크에서 attention token을 31.1~52.0% 줄이되 정확도 손실은 1.27~2.75pp에 그친다.https://techllm.github.io/posts/baidu-unlimited-ocr-rswa-kv-cache/Thu, 25 Jun 2026 19:45:00 +0900https://techllm.github.io/posts/baidu-unlimited-ocr-rswa-kv-cache/바이두가 공개한 Unlimited OCR은 3B MoE(활성 500M) 모델입니다. 디코더 어텐션을 R-SWA로 바꿔 KV 캐시를 상수로 묶었고, OmniDocBench v1.5에서 93.23점으로 DeepSeek OCR을 6점 차이로 앞섰습니다.https://techllm.github.io/posts/kv-cache-compression-turboquant-oscar-epicache/Thu, 18 Jun 2026 22:04:00 +0900https://techllm.github.io/posts/kv-cache-compression-turboquant-oscar-epicache/긴 컨텍스트 LLM의 진짜 병목은 연산이 아니라 KV 캐시 메모리입니다. 2026년 상반기에 세 가지 다른 답이 동시에 나왔습니다. 구글·NYU의 TurboQuant, Together AI의 OSCAR, 애플의 EpiCache를 한 자리에서 비교합니다.https://techllm.github.io/posts/prompt-caching-claude-explained/Wed, 20 May 2026 00:00:00 +0000https://techllm.github.io/posts/prompt-caching-claude-explained/Claude Code가 높은 캐시 적중률로 비용을 줄이는 원리를 정리했다. 컨텍스트 세금, KV 캐싱, 캐시 무효화 규칙, 에이전트 프롬프트 구조까지 실무 관점에서 살펴본다.