PyTorch

From nn.Linear to a fused MLP — profiling visualization

nn.Linear에서 Fused MLP까지 — PyTorch 프로파일링으로 본 커널 융합의 단계

개요 같은 MLP 한 덩어리를 세 가지 방식으로 돌려봅니다. eager 모드, torch.compile, 그리고 Hugging Face Hub에서 받아온 Liger 수제 커널. 코드로 보면 똑같이 한 줄짜리 forward인데, 트레이스를 열어 보면 GPU가 하는 일이 전혀 다릅니다. Hugging Face가 6월 11일 공개한 “Profiling in PyTorch (Part 2)“는 이 차이를 단계별 트레이스로 짚어 줍니다. ...

PyTorch 프로파일링 입문: torch.profiler로 GPU 병목을 읽는 법

개요 “프로파일링을 못 하면 최적화도 못 한다.” HuggingFace 팀이 시작한 Profiling in PyTorch 시리즈의 첫 번째 글이다. 가장 단순한 연산인 행렬 곱셈(matmul)과 편향 덧셈(bias add)에서 출발해, torch.profiler가 돌려주는 테이블과 트레이스를 어떻게 읽는지 처음부터 설명한다. GPU 최적화의 첫 관문인 오버헤드 바운드와 컴퓨트 바운드 개념도 실제 숫자로 체감할 수 있다. ...