AI가 문장이나 이미지를 처리할 때 자주 쓰는 어텐션 계산을 4비트 숫자로 더 빠르게 돌리려는 연구다. 무엇이 문제였나 — 문제: GPU는 4비트 곱셈을 아주 빨리 할 수 있지만, 어텐션 중간에서 확률값을 만드는 단계가 발목을 잡았다. 어떻게 풀었나 — 해결: 확률을 정밀하게 만든 뒤 줄이는 대신, 처음부터 GPU가 바로 쓸 수 있는 4비트 코드에 점수를 넣는다. 그래서 뭐가 좋아졌나 — 결과: 좋은 조건에서는 어텐션 forward가 BF16보다 최대 2.13배 빨랐고, 8B급 모델의 한 번 학습 업데이트도 최대 1.14배 빨라졌다. ...
핵심 요약 샤오미 MiMo 팀과 TileRT 그룹이 MiMo-V2.5-Pro-UltraSpeed를 발표했다. 1조 파라미터 모델이 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩된다. 비결은 세 층의 협업이다 — MoE 전용 FP4(MXFP4) 양자화, DFlash 블록 마스크 병렬 speculative decoding, TileRT persistent-kernel 런타임. 양자화는 표현력 손실을 막기 위해 MoE에만 걸고 나머지는 FP8을 유지했다. speculative decoding은 거부 샘플링으로 무손실을 보장한다. 가격은 표준 모델의 3배, 디코딩 속도는 약 10배. 병렬 추론·코딩 에이전트·실시간 거래 신호 같은 워크로드에서 비용 곡선이 뒤집힌다. API는 6월 9~23일 신청제 트라이얼로 좁게 열려 있고, FP4-DFlash 체크포인트와 TileRT 일부 모듈은 허깅페이스·깃허브에 공개됐다. 1조 파라미터를 표준 GPU에서 — 무엇이 새로운가 Cerebras는 웨이퍼 한 장에 모델을 통째로 박아 넣고, Groq는 칩 위 SRAM으로 메모리 병목을 풀었다. 두 길 다 “더 빨라지려면 더 특수한 실리콘"이라는 전제 위에 있다. 샤오미가 이번에 보여준 길은 다르다. 하드웨어는 그대로 두고, 모델과 런타임을 같은 칠판 위에서 함께 설계해 1조 파라미터 모델을 표준 노드에서 1000+ TPS로 돌렸다. ...