FP4 on TechLLMhttps://techllm.github.io/tags/fp4/Recent content in FP4 on TechLLMHugokoFri, 02 Oct 2026 07:33:17 +0900AI가 문장이나 이미지를 처리할 때 자주 쓰는 어텐션 계산을 4비트 숫자로 더 빠르게 돌리려는 연구다.https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Fri, 02 Oct 2026 07:33:17 +0900https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Blackwell의 4비트 텐서 코어가 빨라져도 어텐션의 softmax 변환과 P 구성 단계가 병목이 되는 문제를, 점수를 MXFP4 확률 코드로 직접 매핑하는 Direct-P로 줄인 연구다. 비인과 forward는 GB200에서 BF16 대비 최대 2.13배 빠르고, B300에서는 D128/H64/S9472에서 3159 TFLOP/s에 도달한다. 학습 쪽에서는 forward에서 저장한 양자화 Q/K와 LSE를 backward가 재사용해 단일 GB200의 8.03B 모델 업데이트를 최대 1.14배 빠르게 한다.샤오미 MiMo × TileRT, 상용 GPU 8장으로 1조 파라미터 모델 초당 1000 토큰 돌파https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/Tue, 09 Jun 2026 10:53:00 +0900https://techllm.github.io/posts/xiaomi-mimo-tilert-1t-1000-tokens-per-second/샤오미 MiMo 팀과 TileRT 시스템 그룹이 손잡고 1조 파라미터 모델을 표준 8-GPU 노드에서 초당 1000 토큰 이상으로 디코딩한 'MiMo-V2.5-Pro-UltraSpeed'를 공개했다. 비결은 FP4 양자화·DFlash speculative decoding·TileRT 런타임이 한 묶음으로 짜인 모델-시스템 코디자인이다.