Hardware Architecture / LLM Accelerator on TechLLM

Hardware Architecture / LLM Accelerator on TechLLMhttps://techllm.github.io/tags/hardware-architecture-/-llm-accelerator/Recent content in Hardware Architecture / LLM Accelerator on TechLLMHugokoWed, 21 Oct 2026 07:33:06 +0900LEAP는 언어모델의 데이터 종류에 따라 저장된 곳이나 가까운 곳에서 계산하고, 칩 안에서 결과를 모으도록 설계한 가속기 구조다.https://techllm.github.io/posts/llm-inference-on-imc-noc-architecture-with-balanced-dataflow-and-fine/Wed, 21 Oct 2026 07:33:06 +0900https://techllm.github.io/posts/llm-inference-on-imc-noc-architecture-with-balanced-dataflow-and-fine/본 논문은 IMC(메모리 내 연산), NMC(메모리 근처 연산), INC(네트워크 내 연산)를 통합한 LEAP 하드웨어와 이를 위한 파티셔닝·매핑·스케줄링 프레임워크를 제안한다. 정적 가중치는 IMC, 동적 데이터는 NMC, 부분 결과 축소는 INC가 맡는다. 또한 입력 처리(prefill)와 토큰 생성(decode)에 서로 다른 자원을 배정하는 LEAP-D 모드를 평가한다.