https://techllm.github.io/tags/softmax/Recent content in Softmax on TechLLMHugokoFri, 02 Oct 2026 07:33:17 +0900https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Fri, 02 Oct 2026 07:33:17 +0900https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Blackwell의 4비트 텐서 코어가 빨라져도 어텐션의 softmax 변환과 P 구성 단계가 병목이 되는 문제를, 점수를 MXFP4 확률 코드로 직접 매핑하는 Direct-P로 줄인 연구다. 비인과 forward는 GB200에서 BF16 대비 최대 2.13배 빠르고, B300에서는 D128/H64/S9472에서 3159 TFLOP/s에 도달한다. 학습 쪽에서는 forward에서 저장한 양자화 Q/K와 LSE를 backward가 재사용해 단일 GB200의 8.03B 모델 업데이트를 최대 1.14배 빠르게 한다.