답을 만드는 동안 매번 다시 읽던 정보를 알맞게 줄여서, 휴대용 기기에서도 AI가 더 적은 전력으로 답하게 하는 방법을 제안한다.

답을 만드는 동안 매번 다시 읽던 정보를 알맞게 줄여서, 휴대용 기기에서도 AI가 더 적은 전력으로 답하게 하는 방법을 제안한다.

무엇이 문제였나 — 작은 기기에서는 한 번에 한 요청만 처리하는 경우가 많아, AI가 답을 다듬을 때마다 큰 정보를 메모리에서 반복해서 읽는다. 어떻게 풀었나 — 중요한 정도에 따라 읽는 정보의 세밀함을 조절하고, 앞 단계에서 계산한 결과도 다음 단계에서 활용한다. 그래서 뭐가 좋아졌나 — 모의 실험에서 전력 사용과 응답 시간이 줄었고, 확인한 문제 풀이와 코드 작성 점수의 하락은 1%p보다 작았다.

매번 참고서를 처음부터 다시 읽는 대신, 지금 문제에 중요한 쪽은 자세히 보고 나머지는 간단히 확인하는 공부법과 비슷하다. 앞에서 계산한 답안 일부도 보관해 다음 풀이에 다시 쓴다.

논문 정보

Wei-Hsing Huang, Kiseok Lee, Ming-Yen Lee, Weiyu Sun et al. · Georgia Institute of Technology · 2026

왜 중요한가

휴대폰이나 소형 기기에서 AI를 실행할 때는 계산 능력뿐 아니라 메모리를 오가는 정보의 양도 중요하다. 반복해서 옮기는 정보를 줄이면 전력과 시간을 아끼면서 기기 안에서 AI를 실행할 가능성이 커진다.

핵심 지표

어떻게 동작하나

논문은 batch-one 엣지 추론에서 요청 간 묶음 처리가 어렵고, 블록 확산 LLM도 각 정제 단계에서 불변 prefix KV와 FFN 가중치를 DRAM에서 다시 읽는다는 점을 출발점으로 삼는다. WIFiV-LPDDR는 넓은 I/O와 메모리 측 정밀도 변환을 결합해, 저장된 q8 데이터를 읽을 때 요청된 비트 수만 전달하도록 모델링한다. BRQ-KV는 모든 prefix 항목에 rank-two 저랭크 기반을 남기고 q8 잔차를 보존한 채, 현재 query에 따라 잔차를 q8/q4/q2/q0로 읽으며 호환되는 단계에서 tier map을 재사용한다. DAT-FFN은 블록 시작 때 정한 채널 순서를 유지하면서 입력 변화량에 따라 채널을 q8 교체, 저비트 차분 보정, 캐시 상태 유지로 배분하고 내부 단계마다 기준 상태를 갱신한다. 활성값은 BF16으로 유지하며, 두 기법과 메모리 시스템을 혼합 정밀도 input-stationary systolic array에 매핑한다. 평가는 LLMET 사이클 수준 모델에서 Fast-dLLM v2 1.5B/7B와 Jetson Orin Nano/NX급 구성을 대상으로 다섯 개 생성 벤치마크를 사용했다.

핵심 수식:

\mathrm{BW}=N R \eta
\quad E(p)=8e_a+p e_t+E_c(p),\;p\in\{8,4,2\};\quad E(0)=0
\quad x^{(\tau)}=cU+\mathcal{Q}_{\tau}(r),\;\tau\in\{8,4,2,0\}

BW는 유효 I/O 폭 N, 핀당 전송률 R, 효율 η의 곱이며, E(p)는 저장 비트 이동·전달·변환 에너지의 모델이다. KV 복원식에서 cU는 저랭크 기반, r은 잔차, Qτ는 tier τ에서 읽는 잔차 표현이며 q0에서는 잔차가 0이다.

한계와 주의할 점

• 결과는 실제 기기 측정이 아니라 LLMET 기반 사이클 모델과 기술 보정치에 근거한다. 실제 DRAM, 패키지, 메모리 변환 회로 구현에서 같은 결과가 나오는지는 검증되지 않았다.
• WIFiV-LPDDR 평가는 LPDDR5 기준 대역폭의 4× 지점으로 모델링했으며, 논문이 설명하는 아키텍처의 최대 대역폭을 평가한 것은 아니다.
• 평가 범위는 Fast-dLLM v2 1.5B/7B와 다섯 생성 벤치마크다. 다른 모델 구조, 입력 길이, 장시간 대화, 다중 요청 동시 처리에서의 동작은 이 결과만으로 판단하기 어렵다.
• BRQ-KV의 tier map은 query span이 호환될 때만 재사용 가능하다. map 생성 단계는 q8 전체 prefix 정렬을 수행하므로, 짧은 블록이나 잦은 span 변경에서는 이 비용의 비중이 커질 수 있다.
• DAT-FFN의 저비트 view와 보정은 오프라인 calibration에서 고정한 map·계수와 GPTQ-8 가중치 표현에 의존한다. 다른 데이터 분포나 가중치 형식에서는 정확도와 비용을 다시 확인해야 한다.
• 현재 query와 중요도가 낮다고 판단한 KV 항목이 실제로는 답에 중요할 경우, 낮은 잔차 정밀도로 인해 attention 결과가 달라질 수 있다.
• 입력 drift가 크거나 tier 경계가 자주 이동하면 DAT-FFN의 이전 anchor 및 한 단계 교차 보정이 현재 상태를 충분히 대표하지 못할 수 있다.
• q0로 유지되는 채널은 현재 단계에서 가중치 접근과 업데이트를 생략하므로, 빠른 상태 변화가 생기면 출력 기여가 뒤처질 수 있다.
• 모델링한 대역폭, 패키지 효율, 메모리 측 변환 비용이 실제 구현과 크게 다르면 Full 구성의 예측 이점이 축소될 수 있다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

KV 재랭킹과 가역적 저비트 잔차 읽기 결합

장기 기억을 쓰는 에이전트의 검색 파이프라인에서 후보를 가져온 뒤 재순위하기 전에 BRQ-KV의 query 기반 정밀도 배정 원리를 적용한다. 자주 맞는 후보는 원본 정밀도로 유지하고, 덜 중요한 후보는 저비트 잔차 표현으로 재구성하되 기본 표현은 남긴다. 후보 집합이 바뀌거나 새로운 query가 들어오면 정밀도 지도를 다시 계산해 정보 손실을 되돌릴 수 있게 한다. 논문은 언어 모델 KV에서 이 방식의 정확도·전송량 이점을 보였으므로 문서 임베딩에 적용하기 전에는 검색 품질과 저장·계산 비용을 별도로 검증해야 한다.

적용 지점 — 검색 후보 재순위와 문서 임베딩 회수

기대 효과 — 논문 평가에서는 전체 압축 구성의 평균 에너지 감소율이 1.5B/7B에서 3.79×/3.96×였고, 각 압축 벤치마크 점수 하락은 기준 대비 1%p 미만이었다. 임베딩 검색에 대한 수치는 논문에 없다.

도구 결과 검토에 드리프트 기반 재계산 경계 적용

여러 도구 호출을 거치는 에이전트 하네스에서 이전 단계의 도구 결과와 현재 입력을 비교해 변화량을 계산한다. DAT-FFN의 고정 순서와 drift 기반 tier 경계 조절 방식을 참고해, 변화가 큰 결과 필드는 정밀 재검토하고 중간 수준은 이전 결과의 차분만 반영하며 변화가 작은 필드는 캐시한다. 각 단계가 끝날 때 다음 단계의 기준 상태를 갱신하고, 경계가 바뀐 항목은 한 번 더 검증한다. 이는 논문의 FFN 채널 정책을 일반 도구 결과에 직접 입증한 것은 아니므로, 잘못된 캐시가 작업 완주에 미치는 영향을 평가하는 별도 검증이 필요하다.

적용 지점 — 도구 호출 사이의 상태 캐시와 결과 검증

기대 효과 — 논문은 DAT-FFN에서 drift에 따라 교체·차분·carry를 배분하는 메커니즘을 제시한다. 에이전트 도구 작업의 비용 또는 성공률 개선 수치는 보고하지 않았다.

단계별 도입 로드맵

원문 PDF: 2026-09-02-hardware-acceleration-of-block-diffusion-llm-for-edge-devices.pdf