연속배칭 on TechLLMhttps://techllm.github.io/tags/%EC%97%B0%EC%86%8D%EB%B0%B0%EC%B9%AD/Recent content in 연속배칭 on TechLLMHugokoSat, 16 May 2026 11:25:00 +0900Mac에서 돌리는 로컬 LLM 서버 — oMLX, 계층형 KV 캐시와 연속 배칭https://techllm.github.io/posts/omlx-apple-silicon-llm/Sat, 16 May 2026 11:25:00 +0900https://techllm.github.io/posts/omlx-apple-silicon-llm/Apple Silicon Mac용 LLM 추론 서버 oMLX. RAM+SSD 2계층 KV 캐시, 연속 배칭, 멀티모델 동시 서빙을 메뉴바 앱으로 제어한다. GitHub 스타 1.4만.LLM 추론 속도를 공짜로 24% 높이는 법 — 비동기 연속 배칭https://techllm.github.io/posts/hf-continuous-async-batching/Sat, 16 May 2026 08:27:00 +0900https://techllm.github.io/posts/hf-continuous-async-batching/GPU가 멀쩡히 켜져 있는데 24%는 그냥 낭비된다. CUDA 스트림과 이벤트로 CPU·GPU를 동시에 돌리는 비동기 연속 배칭의 원리를 처음부터 설명한다.