nn.Linear에서 Fused MLP까지 — PyTorch 프로파일링으로 본 커널 융합의 단계
개요 같은 MLP 한 덩어리를 세 가지 방식으로 돌려봅니다. eager 모드, torch.compile, 그리고 Hugging Face Hub에서 받아온 Liger 수제 커널. 코드로 보면 똑같이 한 줄짜리 forward인데, 트레이스를 열어 보면 GPU가 하는 일이 전혀 다릅니다. Hugging Face가 6월 11일 공개한 “Profiling in PyTorch (Part 2)“는 이 차이를 단계별 트레이스로 짚어 줍니다. ...