머신러닝 / 트랜스포머 아키텍처 (Long-Context Pretraining) on TechLLM

머신러닝 / 트랜스포머 아키텍처 (Long-Context Pretraining) on TechLLMhttps://techllm.github.io/tags/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-/-%ED%8A%B8%EB%9E%9C%EC%8A%A4%ED%8F%AC%EB%A8%B8-%EC%95%84%ED%82%A4%ED%85%8D%EC%B2%98-long-context-pretraining/Recent content in 머신러닝 / 트랜스포머 아키텍처 (Long-Context Pretraining) on TechLLMHugokoSat, 08 Aug 2026 19:08:12 +0900학습 중에만 어텐션을 압축했다가 마지막에 원래 방식으로 돌려놓으면, 긴 문맥을 훨씬 빠르고 저렴하게 학습하면서도 정상적인 모델을 얻는다.https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Sat, 08 Aug 2026 19:08:12 +0900https://techllm.github.io/posts/lighthouse-attention-long-context-pretraining/Lighthouse Attention은 Q/K/V를 대칭적으로 다중 해상도 피라미드로 풀링한 뒤, 상위 K개 엔트리만 골라 표준 FlashAttention에 통과시키는 학습 전용 희소 어텐션이다. selection이 어텐션 커널 밖에 있어 forward/backward가 dense 트랜스포머와 동일하며, 마지막에 짧은 dense-SDPA resume만 거치면 from-scratch dense baseline과 동등 이상의 loss를 1.4~1.7× 더 빠른 wall-clock에 달성한다.