LEAP는 언어모델의 데이터 종류에 따라 저장된 곳이나 가까운 곳에서 계산하고, 칩 안에서 결과를 모으도록 설계한 가속기 구조다.

LEAP는 언어모델의 데이터 종류에 따라 저장된 곳이나 가까운 곳에서 계산하고, 칩 안에서 결과를 모으도록 설계한 가속기 구조다.

무엇이 문제였나 — 언어모델은 계산할 때 모델의 가중치와 새로 만들어지는 중간 데이터를 계속 다룬다. 데이터를 옮기고 나눠 계산한 결과를 모으는 일이 성능과 전력에 영향을 준다. 어떻게 풀었나 — LEAP는 저장된 가중치는 메모리 안에서, 중간 데이터는 메모리 가까이에서 처리하고, 칩 안의 연결 장치가 나눠진 계산 결과를 모으게 한다. 그래서 뭐가 좋아졌나 — 저자들의 평가에서는 LEAP-A가 A100보다 처리량과 에너지 효율이 높았고, LEAP-D는 H100보다도 두 지표가 높았다. 이는 실제 칩의 실측 결과가 아니라 하드웨어 추정과 시뮬레이션에 기반한 비교다.

여러 사람이 큰 문서를 나눠 읽고 요약한다고 생각해 보자. 매번 문서를 먼 곳에서 가져오는 대신 각자 가까운 곳에서 맡은 부분을 처리하고, 결과를 한 곳에 모으면 이동을 줄일 수 있다. LEAP는 칩 안에서 비슷한 방식으로 계산과 결과 취합을 나눈다.

논문 정보

Yimin Wang, Yue Jiet Chong, Xuanyao Fong · Department of Electrical and Computer Engineering, National University of Singapore · arXiv preprint, extending ICCAD 2025 · 2026

왜 중요한가

언어모델을 실행할 때 계산뿐 아니라 데이터 이동과 결과 취합에도 자원이 든다. 논문은 칩 안에서 계산과 데이터 이동을 함께 설계하면 모델 추론의 처리량과 전력 효율을 개선할 수 있는지 살펴본다.

핵심 지표

어떻게 동작하나

저자들은 IMC PE, 라우터 안의 scratchpad와 연산 로직(NMC), 부분 결과 취합 로직(INC)을 결합한 LEAP 구조를 제안한다. 모델 행렬을 PE와 scratchpad 용량에 맞춰 행·열 방향으로 나누고, 정적 가중치와 동적 데이터를 각각 IMC와 scratchpad에 배치한다. 컴파일 단계에서 결정되는 Broadcast, Reduce, ReduceScatter 등의 데이터 흐름을 이용해 계산과 통신을 조정한다. LEAP-A는 prefill과 decode가 같은 종류의 매크로 자원을 공유하며, LEAP-D는 가중치가 있는 prefill 영역과 scratchpad를 늘린 decode 영역으로 나눈다. 평가 모델은 Llama 3.2-1B, Llama 3-8B, Llama 2-13B다. 디지털 회로는 45nm 공정에서 합성·배치 및 배선하고 그 결과를 7nm로 스케일링했으며, IMC PE와 scratchpad의 면적·전력은 각각 기존 자료와 CACTI 추정치를 사용했다. end-to-end 성능은 NoC 명령어 기반 시뮬레이터로 평가했다.

핵심 수식:

\text{Critical path}_{attn} \propto \max(s_e s_l,\; s_h s_l)\\
\text{Critical path}_{FFN} \propto \max(s_e s_l,\; s_h s_l)\\
\text{Critical path scaling} \propto (s_e s_l)\text{ or }(s_h s_l),\text{ rather than }(s_e s_h s_l)

s_e, s_h, s_l은 각각 embedding 차원, FFN hidden 차원, 레이어 수의 증가 배율이다. 논문은 행·열 방향 파티셔닝과 매핑으로 broadcast, reduction, 동적 행렬 곱셈의 임계 경로가 대략 s_e·s_l 또는 s_h·s_l에 따라 증가한다고 설명한다. 따라서 이 경로의 증가율은 세 배율의 곱 s_e·s_h·s_l보다 작을 수 있다. 이는 처리량 자체의 수식이 아니라 임계 경로의 스케일링 설명이다.

한계와 주의할 점

• 배치 평가는 요청 두 개를 대상으로 한다. 논문도 이 규모가 클라우드 수준의 배치와 같지 않다고 밝힌다.
• LEAP-A에서 decode 처리량은 prefill보다 4~6배 낮다고 보고한다. LEAP-D는 두 단계의 차이를 줄이지만, 이 수치만으로 모든 조건의 지연 시간이 개선된다고 볼 수는 없다.
• LEAP-A 매크로에서 router는 면적의 17.51%, 전력의 56.32%를 차지한다. 데이터 이동과 라우터 내부 처리가 전력 소비의 중요한 요소다.
• IMC PE는 LEAP-A 매크로 면적의 72.06%를 차지한다. 이는 구성요소별 면적 비중이며, 논문은 이를 별도의 개선 과제로 단정하지 않는다.
• 디지털 회로 결과는 45nm 설계 결과를 7nm로 스케일링했고, 성능 평가는 시뮬레이터에 기반한다. 실제 실리콘 실측 결과는 제시하지 않는다.
• 두 요청을 배치하면 TTFT가 개선될 수 있지만, 요청 간 IMC 가중치 접근 경합으로 TPOT가 늘어날 수 있다. 따라서 배치가 모든 지표를 동시에 개선하지는 않는다.
• 서로 다른 요청의 prefill과 decode가 같은 IMC 가중치에 접근하면 한쪽 작업이 대기할 수 있다. 논문은 이를 배치 실행의 자원 간섭으로 설명한다.
• decode 단계의 KV cache가 커지면 scratchpad 용량과 저장 방식이 제약이 될 수 있다. 논문은 cyclic storage를 사용하지만, 이 방식의 용량 초과 성능 저하를 별도로 정량화하지 않는다.
• 칩 안의 broadcast·reduce 통신과 라우터 연산이 주요 임계 경로에 영향을 준다. 특정 spanning tree 경로의 혼잡을 측정한 결과는 본문에 제시되지 않는다.
• RRAM 소자의 endurance나 변동성이 성능에 미치는 영향은 본 논문에서 평가하지 않는다.

단계별 도입 로드맵

원문 PDF: 2026-09-02-llm-inference-on-imc-noc-architecture-with-balanced-dataflow-and-fine-gr.pdf