Semantic Cache on TechLLMhttps://techllm.github.io/tags/semantic-cache/Recent content in Semantic Cache on TechLLMHugokoMon, 24 Aug 2026 07:38:48 +09007가지 LLM 캐시 삭제 정책을 같은 조건에서 비교했더니 복잡한 기하학 기반 정책이 단순한 LFU보다 더 좋지 않았고, 매칭 임계값을 잘못 고르면 매치의 96%가 쓸모 없는 답변이라는 사실이 드러났다.https://techllm.github.io/posts/which-eviction-policy-should-an-llm-cache-use-a-systematic-study-acros/Mon, 24 Aug 2026 07:38:48 +0900https://techllm.github.io/posts/which-eviction-policy-should-an-llm-cache-use-a-systematic-study-acros/동일한 프로토콜(CLEVER) 하 7개 캐시 축출 정책을 비교한 결과, 어떤 복잡한 정책도 LFU 대비 0.041pp를 넘기는 이득을 보이지 못했다. 다만 FIFO와 스트리밍 SISO는 좁은 캐시에서 LFU 대비 최대 8.67pp, 8.55pp 손실이 발생한다. packing 조건 분석은 정확 삽입-온-미스 환경에서 기하학적 축출이 받을 수 있는 신호가 적음을 설명하며, LLM 심사위원 기반 품질 감사에서 0.90 임계값 하 LMSYS/QQP 매치의 96~98%가 실제 답변 대체가 불가능함을 드러냈다.