추론최적화 on TechLLMhttps://techllm.github.io/tags/%EC%B6%94%EB%A1%A0%EC%B5%9C%EC%A0%81%ED%99%94/Recent content in 추론최적화 on TechLLMHugokoTue, 21 Jul 2026 15:29:00 +0900키미 K3가 흔든 건 GPU 수요가 아니라 GPU를 보는 기준입니다https://techllm.github.io/posts/kimi-k3-moe-kda-gpu-demand/Tue, 21 Jul 2026 15:29:00 +0900https://techllm.github.io/posts/kimi-k3-moe-kda-gpu-demand/문샷 AI의 2조 8000억 파라미터 모델 키미 K3는 토큰마다 전문가의 1.8%만 켭니다. 연산이 싸지면 GPU가 덜 필요해질까요. 실제로는 반대 방향의 수요가 열립니다. 초희소 MoE와 KDA, 그리고 2.8TB 가중치가 남기는 인프라 청구서를 정리했습니다.DeepSeek V4 출시 43일, 추론 최적화 전쟁의 실제 성적표https://techllm.github.io/posts/deepseek-v4-43day-inference-optimization-race/Wed, 10 Jun 2026 23:01:35 +0900https://techllm.github.io/posts/deepseek-v4-43day-inference-optimization-race/DeepSeek V4 1.6T 공개 이후 43일 동안 NVIDIA, AMD, 화웨이 진영이 어떻게 성능을 끌어올렸는지 — SemiAnalysis 분석을 정리했습니다. AMD MI355X의 100배 향상, MegaMoE 커널, CSA/HCA, 그리고 NVIDIA TensorRT-LLM의 출시 첫날 사고까지.샤오미 MiMo × TileRT, 상용 GPU 8장으로 1조 파라미터 모델 초당 1000 토큰 돌파https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/Tue, 09 Jun 2026 10:53:00 +0900https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/샤오미 MiMo 팀과 TileRT 시스템 그룹이 손잡고 1조 파라미터 모델을 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩한 'MiMo-V2.5-Pro-UltraSpeed'를 공개했다. 비결은 FP4 양자화·DFlash speculative decoding·TileRT 런타임이 한 묶음으로 짜인 모델-시스템 코디자인이다.LLM 추론 속도를 공짜로 24% 높이는 법 — 비동기 연속 배칭https://techllm.github.io/posts/hf-continuous-async-batching/Sat, 16 May 2026 08:27:00 +0900https://techllm.github.io/posts/hf-continuous-async-batching/GPU가 멀쩡히 켜져 있는데 24%는 그냥 낭비된다. CUDA 스트림과 이벤트로 CPU·GPU를 동시에 돌리는 비동기 연속 배칭의 원리를 처음부터 설명한다.