https://techllm.github.io/tags/sglang/Recent content in SGLang on TechLLMHugokoSat, 13 Jun 2026 19:42:00 +0900https://techllm.github.io/posts/minimax-m3-local-deployment-vllm-sglang/Sat, 13 Jun 2026 19:42:00 +0900https://techllm.github.io/posts/minimax-m3-local-deployment-vllm-sglang/MiniMax-M3가 HuggingFace에 풀렸습니다. 428B 파라미터·23B 활성·1M 컨텍스트 멀티모달 모델을 vLLM, SGLang, Transformers, Docker로 띄우는 실전 가이드와 11종 양자화 옵션, 권장 추론 파라미터를 정리합니다.https://techllm.github.io/posts/deepseek-v4-43day-inference-optimization-race/Wed, 10 Jun 2026 23:01:35 +0900https://techllm.github.io/posts/deepseek-v4-43day-inference-optimization-race/DeepSeek V4 1.6T 공개 이후 43일 동안 NVIDIA, AMD, 화웨이 진영이 어떻게 성능을 끌어올렸는지 — SemiAnalysis 분석을 정리했습니다. AMD MI355X의 100배 향상, MegaMoE 커널, CSA/HCA, 그리고 NVIDIA TensorRT-LLM의 출시 첫날 사고까지.