https://techllm.github.io/tags/flashattention/Recent content in FlashAttention on TechLLMHugokoFri, 02 Oct 2026 07:33:17 +0900https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Fri, 02 Oct 2026 07:33:17 +0900https://techllm.github.io/posts/hardware-aware-fp4-flashattention-4/Blackwell의 4비트 텐서 코어가 빨라져도 어텐션의 softmax 변환과 P 구성 단계가 병목이 되는 문제를, 점수를 MXFP4 확률 코드로 직접 매핑하는 Direct-P로 줄인 연구다. 비인과 forward는 GB200에서 BF16 대비 최대 2.13배 빠르고, B300에서는 D128/H64/S9472에서 3159 TFLOP/s에 도달한다. 학습 쪽에서는 forward에서 저장한 양자화 Q/K와 LSE를 backward가 재사용해 단일 GB200의 8.03B 모델 업데이트를 최대 1.14배 빠르게 한다.https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Sat, 08 Aug 2026 19:08:12 +0900https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Lighthouse Attention은 Q/K/V를 대칭적으로 다중 해상도 피라미드로 풀링한 뒤, 상위 K개 엔트리만 골라 표준 FlashAttention에 통과시키는 학습 전용 희소 어텐션이다. selection이 어텐션 커널 밖에 있어 forward/backward가 dense 트랜스포머와 동일하며, 마지막에 짧은 dense-SDPA resume만 거치면 from-scratch dense baseline과 동등 이상의 loss를 1.4~1.7× 더 빠른 wall-clock에 달성한다.