CUDA on TechLLM

CUDA on TechLLMhttps://techllm.github.io/tags/cuda/Recent content in CUDA on TechLLMHugokoSat, 16 May 2026 08:27:00 +0900LLM 추론 속도를 공짜로 24% 높이는 법 — 비동기 연속 배칭https://techllm.github.io/posts/hf-continuous-async-batching/Sat, 16 May 2026 08:27:00 +0900https://techllm.github.io/posts/hf-continuous-async-batching/GPU가 멀쩡히 켜져 있는데 24%는 그냥 낭비된다. CUDA 스트림과 이벤트로 CPU·GPU를 동시에 돌리는 비동기 연속 배칭의 원리를 처음부터 설명한다.