MIT 연구진이 신경망의 곱셈 가중치를 전부 학습 가능한 곡선으로 바꿨더니, 매듭 이론 과제에서 파라미터 200개짜리 모델이 30만 개짜리 MLP보다 정확했습니다. 세 문장 요약 문제 — 지금의 신경망은 대부분 MLP(다층 퍼셉트론, 노드마다 정해진 활성화 함수를 두고 연결선에는 숫자 가중치 하나씩만 두는 구조)를 쌓아 만드는데, 데이터 뒤에 깔끔한 수식이 숨어 있는 과학 문제에서도 파라미터를 크게 늘려야 겨우 정확도가 나오고 학습한 내용을 사람이 읽어내기도 어렵습니다. ...
개요 자연어 모델의 핵심 부품인 트랜스포머(Transformer) 가 심전도 판독으로 넘어왔습니다. 2026년 6월 16일 공개된 새 연구는 1차원 트랜스포머 네트워크가 ECG 신호와 임상 데이터를 함께 분석해 초기 심장 질환을 94.2% 정확도로 잡아냈다고 보고합니다. 챗봇을 만들던 구조가 그대로 심장 박동의 미세한 패턴을 읽는 도구가 된 셈입니다. ...
개요 “프로파일링을 못 하면 최적화도 못 한다.” HuggingFace 팀이 시작한 Profiling in PyTorch 시리즈의 첫 번째 글이다. 가장 단순한 연산인 행렬 곱셈(matmul)과 편향 덧셈(bias add)에서 출발해, torch.profiler가 돌려주는 테이블과 트레이스를 어떻게 읽는지 처음부터 설명한다. GPU 최적화의 첫 관문인 오버헤드 바운드와 컴퓨트 바운드 개념도 실제 숫자로 체감할 수 있다. ...