추론최적화

핵심 요약 문샷 AI가 공개한 키미 K3는 총 2조 8000억 파라미터인데, 토큰 하나를 처리할 때 896개 전문가 중 16개만 켭니다. 활성 비율이 약 1.8%입니다. 키미 델타 어텐션(KDA) 은 지난 토큰의 모든 계산을 다 펼쳐두는 대신, 작업 노트 한 장을 계속 고쳐 쓰는 선형 어텐션 방식으로 KV 캐시 폭증을 눌렀습니다. 발표 직후 미국 AI 반도체 주가가 흔들렸습니다. “소프트웨어가 이렇게 효율적이면 GPU를 덜 사도 되는 것 아니냐"는 계산이 돌았기 때문입니다. 그런데 2.8TB짜리 가중치를 어딘가에 올려두고, 흩어진 전문가끼리 실시간으로 통신시켜야 한다는 조건은 그대로입니다. HBM 용량과 대역폭은 여전히 병목입니다. 연산이 싸지면 예전엔 비싸서 포기했던 작업이 살아납니다. 저장소 전체 분석, 몇 시간짜리 에이전트 실행 같은 것들이죠. 제본스의 역설이 그대로 작동합니다. 앞으로의 경쟁력은 GPU를 몇 장 가졌느냐가 아니라, 같은 메모리에서 얼마나 많은 유효 작업을 뽑아내느냐로 옮겨갑니다. 2조 8000억인데 1.8%만 켠다 키미 K3의 숫자는 언뜻 모순처럼 보입니다. 총 파라미터는 2조 8000억. 그런데 토큰 하나를 처리할 때 실제로 계산에 참여하는 전문가는 896개 중 16개뿐입니다. ...

DeepSeek V4 1.6T가 공개된 지 43일이 지났습니다. SemiAnalysis가 이 기간 동안 NVIDIA, AMD, 화웨이 진영의 추론 스택이 어떻게 진화했는지 추적한 보고서를 내놓았는데, 숫자가 흥미롭습니다. 같은 모델, 같은 하드웨어인데 26일 만에 처리량이 100배 늘어난 경우도 있었습니다. 오늘은 그 보고서를 한국어로 정리합니다. ...

핵심 요약 샤오미 MiMo 팀과 TileRT 그룹이 MiMo-V2.5-Pro-UltraSpeed를 발표했다. 1조 파라미터 모델이 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩된다. 비결은 세 층의 협업이다 — MoE 전용 FP4(MXFP4) 양자화, DFlash 블록 마스크 병렬 speculative decoding, TileRT persistent-kernel 런타임. 양자화는 표현력 손실을 막기 위해 MoE에만 걸고 나머지는 FP8을 유지했다. speculative decoding은 거부 샘플링으로 무손실을 보장한다. 가격은 표준 모델의 3배, 디코딩 속도는 약 10배. 병렬 추론·코딩 에이전트·실시간 거래 신호 같은 워크로드에서 비용 곡선이 뒤집힌다. API는 6월 9~23일 신청제 트라이얼로 좁게 열려 있고, FP4-DFlash 체크포인트와 TileRT 일부 모듈은 허깅페이스·깃허브에 공개됐다. 1조 파라미터를 표준 GPU에서 — 무엇이 새로운가 Cerebras는 웨이퍼 한 장에 모델을 통째로 박아 넣고, Groq는 칩 위 SRAM으로 메모리 병목을 풀었다. 두 길 다 “더 빨라지려면 더 특수한 실리콘"이라는 전제 위에 있다. 샤오미가 이번에 보여준 길은 다르다. 하드웨어는 그대로 두고, 모델과 런타임을 같은 칠판 위에서 함께 설계해 1조 파라미터 모델을 표준 노드에서 1000+ TPS로 돌렸다. ...

개요 H200 GPU는 시간당 5달러다. 하루 쓰면 120달러. 그런데 기본 설정으로 돌리면 GPU의 24%는 그냥 논다. HuggingFace 팀이 CUDA 스트림과 이벤트만으로 이 낭비를 없애는 방법을 공개했다. 모델을 바꿀 필요도, 새 커널을 짤 필요도 없다. ...