MoE on TechLLMhttps://techllm.github.io/tags/moe/Recent content in MoE on TechLLMHugokoTue, 21 Jul 2026 15:29:00 +0900키미 K3가 흔든 건 GPU 수요가 아니라 GPU를 보는 기준입니다https://techllm.github.io/posts/kimi-k3-moe-kda-gpu-demand/Tue, 21 Jul 2026 15:29:00 +0900https://techllm.github.io/posts/kimi-k3-moe-kda-gpu-demand/문샷 AI의 2조 8000억 파라미터 모델 키미 K3는 토큰마다 전문가의 1.8%만 켭니다. 연산이 싸지면 GPU가 덜 필요해질까요. 실제로는 반대 방향의 수요가 열립니다. 초희소 MoE와 KDA, 그리고 2.8TB 가중치가 남기는 인프라 청구서를 정리했습니다.MiniMax-M3 로컬 배포 실전: vLLM·SGLang·Docker로 428B MoE 돌리기https://techllm.github.io/posts/minimax-m3-local-deployment-vllm-sglang/Sat, 13 Jun 2026 19:42:00 +0900https://techllm.github.io/posts/minimax-m3-local-deployment-vllm-sglang/MiniMax-M3가 HuggingFace에 풀렸습니다. 428B 파라미터·23B 활성·1M 컨텍스트 멀티모달 모델을 vLLM, SGLang, Transformers, Docker로 띄우는 실전 가이드와 11종 양자화 옵션, 권장 추론 파라미터를 정리합니다.문샷 Kimi Work 공개 — 300개 서브 에이전트가 내 노트북에서 동시에 돌아간다https://techllm.github.io/posts/moonshot-kimi-work-local-agent-swarm/Fri, 12 Jun 2026 19:26:00 +0900https://techllm.github.io/posts/moonshot-kimi-work-local-agent-swarm/문샷 AI가 데스크톱에서 직접 돌아가는 로컬 에이전트 'Kimi Work'를 내놨다. Kimi K2.6 위에서 최대 300개 서브 에이전트가 병렬로 일하고, 진짜 브라우저와 로컬 폴더, 크론 스케줄러를 묶어 클라우드 에이전트와 다른 길을 잡았다.DiffusionGemma 공개 — 구글이 띄운 26B '텍스트 디퓨전' 모델, 토큰을 한 줄씩이 아니라 한 판으로 찍어낸다https://techllm.github.io/posts/google-diffusiongemma-26b-moe-text-diffusion/Thu, 11 Jun 2026 11:23:00 +0900https://techllm.github.io/posts/google-diffusiongemma-26b-moe-text-diffusion/구글 딥마인드가 공개한 DiffusionGemma는 Gemma 4 백본 위에 텍스트 디퓨전 디코딩을 얹은 실험적 오픈 모델이다. H100에서 초당 1,000토큰을 넘기고, 라이선스는 Apache 2.0. 어디서 빨라지고 어디서 품질을 내주는지 정리한다.샤오미 MiMo × TileRT, 상용 GPU 8장으로 1조 파라미터 모델 초당 1000 토큰 돌파https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/Tue, 09 Jun 2026 10:53:00 +0900https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/샤오미 MiMo 팀과 TileRT 시스템 그룹이 손잡고 1조 파라미터 모델을 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩한 'MiMo-V2.5-Pro-UltraSpeed'를 공개했다. 비결은 FP4 양자화·DFlash speculative decoding·TileRT 런타임이 한 묶음으로 짜인 모델-시스템 코디자인이다.Qwen 3.7 Plus — 알리바바가 다시 1등을 노린다, 235B MoE와 1M 토큰의 비밀https://techllm.github.io/posts/qwen-3-7-plus-alibaba-235b-moe/Tue, 02 Jun 2026 14:00:00 +0900https://techllm.github.io/posts/qwen-3-7-plus-alibaba-235b-moe/알리바바 Qwen 팀이 2026년 5월 공개한 Qwen 3.7 Plus. 235B-A22B MoE 아키텍처, 1M 토큰 컨텍스트, AIME25 70.3점. GPT-4o·Claude Opus·Kimi K2를 벤치마크에서 어떻게 꺾었는지 정리합니다.DECO — 온디바이스 LLM에 처음 'dense 매칭' MoE를 데려온다https://techllm.github.io/posts/deco-sparse-moe-on-device-llm/Tue, 12 May 2026 21:12:00 +0900https://techllm.github.io/posts/deco-sparse-moe-on-device-llm/MoE는 capacity는 늘려도 전체 파라미터를 메모리에 다 올려야 해 온디바이스 배포가 어려웠다. 새로 공개된 DECO는 dense Transformer와 동일 파라미터 예산·학습 토큰으로 dense 성능을 매칭하면서, 실제 하드웨어에서 dense 추론 대비 3배 빠르다.