https://techllm.github.io/tags/vllm/Recent content in VLLM on TechLLMHugokoWed, 24 Jun 2026 11:10:00 +0900https://techllm.github.io/posts/datalab-lift-9b-schema-pdf-extraction/Wed, 24 Jun 2026 11:10:00 +0900https://techllm.github.io/posts/datalab-lift-9b-schema-pdf-extraction/Datalab이 공개한 lift는 9B 파라미터의 오픈웨이트 비전 모델입니다. JSON 스키마를 그대로 입력으로 받아, 스키마에 맞는 JSON을 출력하도록 디코딩 자체를 제약합니다. 다중 페이지 PDF를 한 번에 읽고, 값이 없을 땐 환각 대신 null을 돌려주도록 학습됐습니다. 필드 정확도 90.2%, 중앙값 9.5초로 자체 호스팅 가능한 모델 중 가장 빠른 축에 듭니다.https://techllm.github.io/posts/minimax-m3-local-deployment-vllm-sglang/Sat, 13 Jun 2026 19:42:00 +0900https://techllm.github.io/posts/minimax-m3-local-deployment-vllm-sglang/MiniMax-M3가 HuggingFace에 풀렸습니다. 428B 파라미터·23B 활성·1M 컨텍스트 멀티모달 모델을 vLLM, SGLang, Transformers, Docker로 띄우는 실전 가이드와 11종 양자화 옵션, 권장 추론 파라미터를 정리합니다.https://techllm.github.io/posts/deepseek-v4-43day-inference-optimization-race/Wed, 10 Jun 2026 23:01:35 +0900https://techllm.github.io/posts/deepseek-v4-43day-inference-optimization-race/DeepSeek V4 1.6T 공개 이후 43일 동안 NVIDIA, AMD, 화웨이 진영이 어떻게 성능을 끌어올렸는지 — SemiAnalysis 분석을 정리했습니다. AMD MI355X의 100배 향상, MegaMoE 커널, CSA/HCA, 그리고 NVIDIA TensorRT-LLM의 출시 첫날 사고까지.https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/Wed, 27 May 2026 23:17:00 +0900https://techllm.github.io/posts/delta-weight-sync-trl-async-rl-sparse-safetensors/비동기 강화학습에서 매 단계 1TB를 전송하는 문제를 해결했다. BF16 가중치의 99% 이상이 한 단계에서 변하지 않는다. 변경된 부분만 희소 safetensors로 인코딩하면 1.2GB → 20MB로 줄어든다.