LEAP는 언어모델의 데이터 종류에 따라 저장된 곳이나 가까운 곳에서 계산하고, 칩 안에서 결과를 모으도록 설계한 가속기 구조다.
LEAP는 언어모델의 데이터 종류에 따라 저장된 곳이나 가까운 곳에서 계산하고, 칩 안에서 결과를 모으도록 설계한 가속기 구조다. 무엇이 문제였나 — 언어모델은 계산할 때 모델의 가중치와 새로 만들어지는 중간 데이터를 계속 다룬다. 데이터를 옮기고 나눠 계산한 결과를 모으는 일이 성능과 전력에 영향을 준다. 어떻게 풀었나 — LEAP는 저장된 가중치는 메모리 안에서, 중간 데이터는 메모리 가까이에서 처리하고, 칩 안의 연결 장치가 나눠진 계산 결과를 모으게 한다. 그래서 뭐가 좋아졌나 — 저자들의 평가에서는 LEAP-A가 A100보다 처리량과 에너지 효율이 높았고, LEAP-D는 H100보다도 두 지표가 높았다. 이는 실제 칩의 실측 결과가 아니라 하드웨어 추정과 시뮬레이션에 기반한 비교다. ...