https://techllm.github.io/tags/pyramid-pool/Recent content in Pyramid Pool on TechLLMHugokoSat, 08 Aug 2026 19:08:12 +0900https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Sat, 08 Aug 2026 19:08:12 +0900https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Lighthouse Attention은 Q/K/V를 대칭적으로 다중 해상도 피라미드로 풀링한 뒤, 상위 K개 엔트리만 골라 표준 FlashAttention에 통과시키는 학습 전용 희소 어텐션이다. selection이 어텐션 커널 밖에 있어 forward/backward가 dense 트랜스포머와 동일하며, 마지막에 짧은 dense-SDPA resume만 거치면 from-scratch dense baseline과 동등 이상의 loss를 1.4~1.7× 더 빠른 wall-clock에 달성한다.