핵심 요약
- 샤오미 MiMo 팀과 TileRT 그룹이 MiMo-V2.5-Pro-UltraSpeed를 발표했다. 1조 파라미터 모델이 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩된다.
- 비결은 세 층의 협업이다 — MoE 전용 FP4(MXFP4) 양자화, DFlash 블록 마스크 병렬 speculative decoding, TileRT persistent-kernel 런타임.
- 양자화는 표현력 손실을 막기 위해 MoE에만 걸고 나머지는 FP8을 유지했다. speculative decoding은 거부 샘플링으로 무손실을 보장한다.
- 가격은 표준 모델의 3배, 디코딩 속도는 약 10배. 병렬 추론·코딩 에이전트·실시간 거래 신호 같은 워크로드에서 비용 곡선이 뒤집힌다.
- API는 6월 9~23일 신청제 트라이얼로 좁게 열려 있고, FP4-DFlash 체크포인트와 TileRT 일부 모듈은 허깅페이스·깃허브에 공개됐다.
1조 파라미터를 표준 GPU에서 — 무엇이 새로운가
Cerebras는 웨이퍼 한 장에 모델을 통째로 박아 넣고, Groq는 칩 위 SRAM으로 메모리 병목을 풀었다. 두 길 다 “더 빨라지려면 더 특수한 실리콘"이라는 전제 위에 있다. 샤오미가 이번에 보여준 길은 다르다. 하드웨어는 그대로 두고, 모델과 런타임을 같은 칠판 위에서 함께 설계해 1조 파라미터 모델을 표준 노드에서 1000+ TPS로 돌렸다.
눈여겨볼 지점은 그동안 학계가 따로따로 굴려온 세 가지 — 양자화, speculative decoding, 커널 최적화 — 를 한 설계 안에서 묶어 짰다는 데 있다. 각 기법은 단독으로 발표될 때마다 1.3~2배 속도 이득을 내곤 했지만, 같이 쓰면 서로 발목을 잡았다. 양자화로 줄인 메모리 대역폭을 비효율적인 커널이 다시 갉아먹고, speculative decoding의 draft 모델이 양자화된 본체와 어긋나는 식이다. MiMo×TileRT는 세 요소를 처음부터 한 설계 의도 안에서 짰다는 점이 다르다.
세 층의 속도 최적화
1. MXFP4 — MoE에만 걸린 양자화
핵심 트릭은 양자화를 선택적으로 거는 데 있다. MiMo는 Mixture-of-Experts 구조라 전체 가중치의 큰 비중이 expert 가중치다. 여기에만 FP4(MXFP4 포맷)를 적용하면 전체 메모리 풋프린트와 대역폭이 한 번에 절감된다. 어텐션과 임베딩 같은 나머지 모듈은 FP8을 유지해 표현력을 보전했다.
품질 회복은 Quantization-Aware Training으로 가져갔다. 사후 양자화가 아니라 학습 단계에서 4비트 표현을 의식하며 가중치를 다듬는다. 그 결과 FP4가 들어간 expert 경로에서도 원본 가중치와 동등한 추론 품질을 유지한다고 명시했다.
2. DFlash — 블록 단위 마스크 병렬 speculative decoding
전통적인 speculative decoding은 작은 draft 모델이 한 번에 토큰 몇 개를 만들어주고 본체가 이를 검증·기각하는 구조다. 이 방식은 draft 모델이 본질적으로 직렬이라는 한계를 안고 있다. DFlash는 그 직렬성을 깨기 위해 블록 전체를 마스크로 가린 채 한 번의 forward에서 병렬 예측한다. 슬라이딩 윈도우 어텐션으로 윈도우를 묶고, 블록 크기는 8까지 잡았다.
수용 길이(acceptance length)는 워크로드별로 갈렸다.
- 코딩: 6.30 토큰
- 수학·추론: 5.56 토큰
- 에이전트 작업: 4.29 토큰
거부 샘플링(rejection sampling)을 마지막에 한 번 더 통과시켜 무손실을 보장한다는 점도 중요하다. 속도와 품질을 같이 쥐는 통상적 trade-off에서 이번 설계는 품질 쪽 손해를 받지 않았다.
3. TileRT — GPU에 상주하는 런타임
런타임 차원에서는 persistent kernel이 등장한다. 매 연산마다 커널을 띄우고 종료하는 일반적인 흐름 대신, 단일 커널이 GPU 위에 상주하면서 데이터 이동·연산·통신을 Warp Specialization으로 분담한다. 결과적으로 각 연산자가 마이크로초 단위로 실행되고, 일반 커널 런치 오버헤드가 사라진다.
이 런타임이 양자화·speculative decoding 설계와 같이 짜인 점이 결정적이다. MoE의 FP4 경로, DFlash의 블록 마스크 패턴, expert 라우팅의 통신 패턴이 모두 미리 알려진 상태에서 커널이 잡힌다. 세 요소가 서로의 효율을 갉아먹지 않는다.
비용과 접근 — 10배 속도, 3배 단가
UltraSpeed는 표준 MiMo-V2.5-Pro 대비 디코딩 속도는 약 10배 빠르지만 토큰 단가는 3배다. 이 표는 의외로 명확한 의사결정 기준을 만든다.
| 항목 | Standard | UltraSpeed |
|---|---|---|
| 디코딩 속도 | 1× 기준 | ~10× |
| 토큰 단가 | 1× | 3× |
| MoE 가중치 정밀도 | 표준 | FP4 |
| 디코딩 방식 | autoregressive | DFlash speculative |
병렬 추론(Best-of-N, 트리 탐색)을 굴려야 하는 워크로드, 코딩 에이전트, 실시간 거래·이상 탐지·실시간 대화 루프처럼 지연 그 자체가 비용인 시스템에서는 3배 단가가 충분히 정당화된다.
트라이얼 윈도우는 6월 9일부터 23일까지(베이징 시간)로 좁고, 접근은 API 신청제다. Token Plan은 지원되지 않으며 채팅 접근은 하루 큐 10건, 세션 30분, 5분 무활동 타임아웃이 걸려 있다. 다만 MiMo-V2.5-Pro-FP4-DFlash 체크포인트는 허깅페이스에, TileRT 일부 모듈은 깃허브에 공개되어 커뮤니티 검증이 가능하다.
한계와 남는 질문
발표는 강하지만 몇 가지 유보 사항은 짚어둘 만하다.
- 8-GPU 노드의 GPU 모델이 명시되지 않았다. “commodity"라는 표현이 H100·H200·MI300 중 어느 등급까지를 포괄하는지 확인이 필요하다.
- 수용 길이는 코딩·수학·에이전트 같은 구조화된 워크로드에서 측정됐다. 열린 대화 컨텍스트에서는 수용 길이가 떨어진다는 점을 회사가 직접 인정했다.
- 독립 제3자 벤치마크가 아직 없다. 공개된 체크포인트로 외부 재현이 이뤄지기 전까지는 회사 발표 수치로 봐야 한다.
- 트라이얼 윈도우가 2주뿐이라 운영 환경에서의 안정성 검증 데이터가 짧다.
실무자가 볼 핵심 포인트
| 구분 | 시사점 |
|---|---|
| 하드웨어 선택 | “더 빠른 추론 = 더 특수한 칩” 가정이 꼭 맞지는 않다. 모델·런타임 코디자인이 같은 결과를 낼 수 있다 |
| 양자화 전략 | 전체 모델에 FP4 거는 대신, MoE expert 같은 고비용 가중치만 표적으로 잡고 QAT로 학습 |
| speculative decoding 도입 기준 | 코딩·추론 워크로드(수용 길이 5+ 토큰)에서 ROI가 가장 크다. 열린 대화 위주면 이득 폭이 줄어든다 |
| 단가 vs 속도 | 지연이 곧 비용인 워크로드는 3배 단가도 정당화. 그 외엔 표준 모델이 합리적 |
| 에이전트 루프 설계 | 1000+ TPS는 코딩 에이전트의 “생각→실행” 왕복 시간을 사람이 체감할 수 있는 수준으로 끌어내린다 |
| 개방성 | 체크포인트와 런타임 모듈 일부가 공개되어 사내 PoC 가능 — 트라이얼 윈도우와 별개로 재현 자산을 먼저 확보해도 좋다 |
상용 GPU 위에서 1조 파라미터 모델을 4자리수 TPS로 돌렸다는 사실은, 추론 비용 곡선이 다시 한 번 꺾일 수 있다는 신호다. 거대 모델이 비싸지는 속도와 인프라가 빨라지는 속도 중 어느 쪽이 더 가파를지, 향후 6개월의 후속 벤치마크가 답을 줄 것이다.
원문 출처
원문: Xiaomi MiMo and TileRT push a 1-trillion-parameter model past 1000 tokens per second on commodity GPUs — MarkTechPost, 2026.06.08