개요
MiniMax가 2026년 6월 1일 M3를 공개했다. 코딩·에이전틱 작업에서 프론티어급 성능, MSA(MiniMax Sparse Attention)로 구현한 최대 1M 토큰 컨텍스트, 이미지·영상 입력과 데스크톱 조작을 지원하는 네이티브 멀티모달. 현재 이 세 가지를 동시에 갖춘 유일한 오픈웨이트 모델이다.
핵심 요약
- SWE-Bench Pro 59.0% — GPT-5.5·Gemini 3.1 Pro 초과, Opus 4.7에 근접
- SVG-Bench: Opus 4.7 초과 / OmniDocBench: Gemini 3.1 Pro 초과 / Claw-Eval(에이전트): 1위
- MSA: 1M 컨텍스트에서 이전 세대 대비 per-token 연산량 1/20, prefill 9배·decoding 15배 빠름
- 네이티브 멀티모달 (Step 0부터 혼합 학습), 100조 토큰 규모 학습 데이터
- ICLR 논문 자율 재현 (12시간, 18 커밋), CUDA 커널 최적화 9.4배 달성 (147 submissions)
- PostTrainBench 자율 모델 학습: 0.37점 (Opus 4.7: 0.42, GPT-5.5: 0.39)
MSA: 쿼드라틱 복잡도를 깨는 새 어텐션 아키텍처
1M 컨텍스트는 선언이 아니라 아키텍처 혁신의 결과다. 풀 어텐션의 근본적 결함은 컨텍스트가 길어질수록 연산량이 제곱으로 증가한다는 것이다. MiniMax는 이 문제를 MSA(MiniMax Sparse Attention)로 해결했다.
MSA는 사전 필터링 단계를 도입해 KV 블록을 더 정밀하게 파티셔닝한다. DSA·MoBA 같은 기존 sparse attention 대비 유효 컨텍스트 커버리지가 높다. 연산자 수준에서도 최적화했다 — “KV outer gather Q” 방식으로 KV 블록을 외부 루프로 삼아 해당 블록을 히트하는 쿼리를 집계한다. 각 블록은 한 번만 읽히고 메모리 접근이 연속적이다.
결과: 오픈소스 Flash-Sparse-Attention 대비 4배 이상 빠른 산술 집약도, 1M 컨텍스트에서 이전 세대 모델 대비 per-token 연산량 1/20, prefill 9배 이상·decoding 15배 이상 빠름. 다양한 ablation에서 MSA는 풀 어텐션과 거의 동등한 성능을 유지했다.
프론티어 코딩과 에이전틱 능력
M3의 코딩 벤치마크 수치:
| 벤치마크 | M3 |
|---|---|
| SWE-Bench Pro | 59.0% |
| Terminal-Bench 2.1 | 66.0% |
| SWE-fficiency | 34.8% |
| KernelBench Hard | 28.8% |
| MCP Atlas | 74.2% |
MiniMax가 특히 강조하는 것은 단일 턴 기준 성능이 아니라 실제 개발자 협업 패턴을 시뮬레이션하는 학습·평가 방식이다. 요구사항 명확화, 솔루션 논의, 피드백 기반 수정, 연속 과제 전환, 복잡한 프로젝트 반복 — 이 패턴을 시뮬레이터로 재현해 학습에 반영했다.
실제 태스크가 보여주는 수준
ICLR 2025 논문 자율 재현
M3에게 ICLR 2025 Outstanding Paper 「Learning Dynamics of LLM Finetuning」을 주고 독립적으로 재현하도록 했다. 결과: 12시간 자율 실행, 18 커밋, 23개 실험 도표. SFT 단계의 예측 확률 변화 트렌드를 성공적으로 재현했고, DPO 실험의 squeezing 효과도 관찰했으며, 논문이 제안한 Extend 완화 방법도 검증했다.
이 작업에는 세 가지가 동시에 필요했다 — 논문의 그래프·수식을 이해하는 멀티모달 능력, 논문·코드·실험 로그를 한 컨텍스트 창에 담는 1M 컨텍스트, 장시간 연속 실행을 가능하게 하는 에이전틱 코딩 능력.
CUDA 커널 최적화: 147번의 시도
FP8 행렬 곱(GEMM)은 대형 모델 추론의 가장 연산 집약적인 부분이다. NVIDIA Hopper 아키텍처 GPU에서 프로덕션급 FP8 GEMM 커널을 손으로 최적화하려면 숙련된 팀이 1~2주가 필요하다.
M3는 24시간 연속 실행으로 이 작업을 수행했다. 참조 구현 없이, 실행조차 안 되는 Triton 스켈레톤에서 시작해 147번의 벤치마크 제출과 1,959번의 도구 호출을 통해 Hopper FP8 하드웨어 피크 활용률을 7.6%에서 71.3%로 끌어올렸다 — 9.4배 속도 향상.
주목할 점은 과정이다. Opus 4.7과 M3를 제외한 대부분의 모델은 30번 제출 이내에 새로운 진전을 멈추고 스스로 종료했다. M3는 145번째 제출에서 최선의 솔루션을 찾았다 — 여러 성능 정체 구간을 지나서도 계속 다른 최적화 방향을 탐색했다.
PostTrainBench: 자율 모델 학습
사전학습만 완료된 Base 모델 4개를 주고 12시간 안에 데이터 합성 → 학습 → 평가 → 반복을 자율적으로 완료하도록 했다. M3는 0.37점으로 GPT-5.5(0.39)에 근접했고 다른 모델을 명확히 앞섰다 (Opus 4.7: 0.42).
네이티브 멀티모달과 데이터 스케일링
M3는 처음부터 텍스트와 이미지·영상이 혼합된 데이터로 학습한 네이티브 멀티모달 모델이다. MiniMax는 인터리브드 데이터 — 텍스트와 이미지가 자연스럽게 섞인 시퀀스 — 가 단순히 데이터 볼륨보다 모델 성능 향상에 더 중요하다는 실험 결과를 얻었다. 전체 데이터 파이프라인을 재구축해 학습 데이터를 100조 토큰 규모로 확장했다.
실무자가 볼 핵심 포인트
오픈소스 모델을 평가하는 엔지니어라면 M3가 “코딩·장문맥락·멀티모달 세 가지를 동시에 갖춘 최초의 오픈웨이트 모델"이라는 포지셔닝을 확인해야 한다. SWE-Bench Pro 59%는 GPT-5.5를 넘는 수치다. 실제 사용 전에 자신의 유스케이스에 맞는 벤치마크를 직접 확인하는 것이 중요하다.
인프라·비용 관점에서 MSA의 15배 디코딩 속도 향상은 의미 있는 수치다. 1M 컨텍스트를 실용적으로 사용할 수 있는 비용 구조가 갖춰졌다는 뜻이기 때문이다. 장문 문서 처리, 코드베이스 전체 분석 등 기존에 컨텍스트 한계로 불가능했던 유스케이스가 열린다.
연구자에게 MSA 아키텍처 자체가 분석할 가치가 있다. 오픈웨이트로 공개되는 만큼 실제 구현을 살펴볼 수 있다. KV outer gather Q 방식과 블록 파티셔닝 전략은 다른 모델에도 적용 가능한 기법이다.
원문 출처
원문: MiniMax M3: Frontier Coding, 1M Context, Native Multimodality — All in One Model — MiniMax Research (2026-06-01)