LLM런타임 on TechLLM

LLM런타임 on TechLLMhttps://techllm.github.io/tags/llm%EB%9F%B0%ED%83%80%EC%9E%84/Recent content in LLM런타임 on TechLLMHugokoSun, 24 May 2026 00:44:00 +0900서버 없이 76토큰/초? 구글 LiteRT-LM이 온디바이스 AI의 병목을 뚫었다https://techllm.github.io/posts/litert-lm-on-device-genai/Sun, 24 May 2026 00:44:00 +0900https://techllm.github.io/posts/litert-lm-on-device-genai/Google AI Edge의 LiteRT-LM은 Gemma 4를 Android, iOS, WebGPU 환경에서 빠르게 돌리기 위한 온디바이스 LLM 런타임이다. MTP, 세션 복원, 메모리 최적화, 에이전트 기능까지 핵심을 정리했다.