경찰 바디캠 영상을 30초씩 나눠 미리 요약하고, 나중에 질문을 받으면 중요한 장면을 다시 확인한 뒤 근거가 있는 답만 보여주는 도구다. 무엇이 문제였나 — 경찰 바디캠 영상은 매년 수만 건씩 쌓이지만, 실제로 감독·교육·공개 요청에 필요한 순간은 일부라서 사람이 전부 보기 어렵다. 어떻게 풀었나 — 영상을 30초 단위로 자르고 화면과 소리를 함께 분석해 요약, 대화 내용, 중요도, 위험 신호를 저장한다. 질문이 들어오면 검색된 장면을 AI가 다시 본 뒤에만 그 장면을 인용한다. 그래서 뭐가 좋아졌나 — 평가 샘플에서 중요한 장면은 무작위보다 훨씬 빨리 찾을 수 있었다. 또 각 분석 결과와 사람이 고친 기록은 해시 체인에 묶여 나중에 바뀌면 어디가 바뀌었는지 드러난다. ...
핵심 요약 샤오미 MiMo 팀과 TileRT 그룹이 MiMo-V2.5-Pro-UltraSpeed를 발표했다. 1조 파라미터 모델이 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩된다. 비결은 세 층의 협업이다 — MoE 전용 FP4(MXFP4) 양자화, DFlash 블록 마스크 병렬 speculative decoding, TileRT persistent-kernel 런타임. 양자화는 표현력 손실을 막기 위해 MoE에만 걸고 나머지는 FP8을 유지했다. speculative decoding은 거부 샘플링으로 무손실을 보장한다. 가격은 표준 모델의 3배, 디코딩 속도는 약 10배. 병렬 추론·코딩 에이전트·실시간 거래 신호 같은 워크로드에서 비용 곡선이 뒤집힌다. API는 6월 9~23일 신청제 트라이얼로 좁게 열려 있고, FP4-DFlash 체크포인트와 TileRT 일부 모듈은 허깅페이스·깃허브에 공개됐다. 1조 파라미터를 표준 GPU에서 — 무엇이 새로운가 Cerebras는 웨이퍼 한 장에 모델을 통째로 박아 넣고, Groq는 칩 위 SRAM으로 메모리 병목을 풀었다. 두 길 다 “더 빨라지려면 더 특수한 실리콘"이라는 전제 위에 있다. 샤오미가 이번에 보여준 길은 다르다. 하드웨어는 그대로 두고, 모델과 런타임을 같은 칠판 위에서 함께 설계해 1조 파라미터 모델을 표준 노드에서 1000+ TPS로 돌렸다. ...