Computer Architecture / LLM Inference on TechLLM

Computer Architecture / LLM Inference on TechLLMhttps://techllm.github.io/tags/computer-architecture-/-llm-inference/Recent content in Computer Architecture / LLM Inference on TechLLMHugokoWed, 07 Oct 2026 07:32:31 +0900AI 에이전트가 잠시 툴을 쓰러 가도, 다음에 다시 쓸 대화 기록을 더 잘 남겨두는 메모리 관리 장치를 제안한 연구.https://techllm.github.io/posts/unison-a-co-designed-near-memory-scheduler-of-session-kv-residency-for/Wed, 07 Oct 2026 07:32:31 +0900https://techllm.github.io/posts/unison-a-co-designed-near-memory-scheduler-of-session-kv-residency-for/LLM 에이전트 루프는 툴 대기 동안 세션 KV 캐시를 유지해야 하므로, 기존의 recency·timeout 정책은 살아 있는 대기를 cold로 잘못 취급한다. UNISON은 메모리 계층 옆에 배치된 이벤트 기반 근메모리 스케줄러로, SPEAR(eviction)와 TIDE(tier placement)가 단일 랭킹 상태를 공유하며 gap EMA와 turn-indexed hazard로 다음 참조 거리를 근사한다.