PyTorch 프로파일링 입문: torch.profiler로 GPU 병목을 읽는 법
개요 “프로파일링을 못 하면 최적화도 못 한다.” HuggingFace 팀이 시작한 Profiling in PyTorch 시리즈의 첫 번째 글이다. 가장 단순한 연산인 행렬 곱셈(matmul)과 편향 덧셈(bias add)에서 출발해, torch.profiler가 돌려주는 테이블과 트레이스를 어떻게 읽는지 처음부터 설명한다. GPU 최적화의 첫 관문인 오버헤드 바운드와 컴퓨트 바운드 개념도 실제 숫자로 체감할 수 있다. ...
