머신러닝

개요 “프로파일링을 못 하면 최적화도 못 한다.” HuggingFace 팀이 시작한 Profiling in PyTorch 시리즈의 첫 번째 글이다. 가장 단순한 연산인 행렬 곱셈(matmul)과 편향 덧셈(bias add)에서 출발해, torch.profiler가 돌려주는 테이블과 트레이스를 어떻게 읽는지 처음부터 설명한다. GPU 최적화의 첫 관문인 오버헤드 바운드와 컴퓨트 바운드 개념도 실제 숫자로 체감할 수 있다. ...

개요 OpenAI가 2026년 초 진행한 ‘파라미터 골프’ 챌린지는 단순한 기술 경연이 아니었다. 16MB 크기 제한과 10분 학습 예산이라는 엄격한 제약 안에서 FineWeb 데이터셋의 손실을 최소화하는 이 대회는, AI 코딩 에이전트가 머신러닝 연구 방식 자체를 어떻게 바꾸는지 보여주는 실험이기도 했다. ...