LLM이 긴 문서를 못 읽는 문제를, 텍스트를 잘라 여러 LLM에 동시에 읽히고 요약하게 한 뒤 그 요약들을 트리 모양으로 합치는 '컨볼루션 메모리'로 푼다.

LLM이 긴 문서를 못 읽는 문제를, 텍스트를 잘라 여러 LLM에 동시에 읽히고 요약하게 한 뒤 그 요약들을 트리 모양으로 합치는 ‘컨볼루션 메모리’로 푼다.

무엇이 문제였나 — 기존 메모리 에이전트는 문서를 한 줄로 순차 읽기 때문에 느리고, RL로 학습한 에이전트는 학습 데이터에만 잘 답하는 과적합 문제가 있다. 어떻게 풀었나 — CNN에서 영감을 받아 LLM을 ‘의미 필터’로 쓰고, 윈도우를 겹쳐 5회 스캔(stride 1,600/window 8,000)해 경계 손실을 없애며, 여러 하위 질문으로 쪼개 병렬 채널에서 따로 추적한다. 결정적 원문은 요약 없이 최종 단계로 직송한다. 그래서 뭐가 좋아졌나 — 지연이 O(N)에서 O(log N)으로 줄고, 백만 토큰 분포 외 데이터에서도 RL 기반 에이전트보다 정확하다.

책 한 권을 한 사람이 처음부터 끝까지 읽으며 메모하는 대신, 여러 명이 다른 챕터를 동시에 읽고 각자 요약한 뒤, 요약본끼리 다시 합쳐 결국 한 페이지 결론으로 모으는 방식이다. 중요한 원문은 메모하지 않고 결론란에 그대로 첨부한다.

논문 정보

Hongming Zhang, Zhaozhen Gu, Fengshuo Bai, Ming Hao, et al. · Institute of Automation, Chinese Academy of Sciences · arXiv preprint · 2026

왜 중요한가

수백만 토큰짜리 문서를 다루는 모든 시스템(법률·의료·코드·RAG)에서 응답 지연과 중간 손실은 핵심 병목이다. 학습이 필요 없고 분포 변화에도 견고한 이 방식은 기존 RAG/메모리 파이프라인에 바로 끼워 넣을 수 있는 실용적 개선안이다.

핵심 지표

어떻게 동작하나

ConvMem은 학습이 필요 없는 프레임워크로, 동결된 LLM을 ‘의미 컨볼루션 커널’로 사용한다. 사용자 질문을 먼저 여러 개의 직교 하위 질문으로 분해하고(Multi-Kernel), 각 하위 질문을 담당하는 커널이 8,000 토큰 윈도우를 1,600 토큰씩 겹쳐 5회 스캔한다(Configurable Strides). 계층이 깊어질수록 요약 토큰은 α^l 비율로 줄어들며, 관련성 점수 r=2로 표시된 원문은 압축 없이 최종 단계로 직행한다(Skip Connection). 이로써 선형 체인을 로그 트리 구조로 바꾸어 O(log N) 지연을 달성하면서도 분포가 다른 데이터에서도 견고한 성능을 보인다.

핵심 수식:

(h, r) = K_{LLM}(x, q; p)
N_l ≈ N_0 · α^l
T_{latency} ∝ O(log N)

Eq. 1: 텍스트 조각 x와 질문 q가 주어지면 LLM 커널이 (요약 h, 관련성 점수 r)을 반환한다. N_l ≈ N_0·α^l: 요약 압축률 α에 따라 매 계층마다 토큰 수가 기하급수적으로 줄어든다. T_latency ∝ O(log N): 같은 계층의 세그먼트 연산이 모두 독립이므로 지연이 트리 깊이에만 비례한다.

한계와 주의할 점

• 토큰 사용량 vs 지연시간 트레이드오프: 5배 오버스캔과 계층 합성으로 총 토큰 소비는 선형 스캔보다 크다.
• 질문 분해 품질 의존성: LLM이 복잡한 질문을 잘못된 하위 질문으로 쪼개면 후속 모든 커널이 잘못된 전제에서 동작한다.
• JSON 파싱 실패: 구조화 출력이 형식에 맞지 않을 때 채널이 소실될 수 있어, 폴백(r=1) 정책이 정보 손실을 일으킬 수 있다.
• 계층 깊이 L 자동 결정의 휴리스틱: 요약이 W 안에 들어올 때까지 재귀하지만, 압축률 α가 모델·입력에 따라 들쭉날쭉해 깊이 예측이 안정적이지 않다.
• Mem-α와 같은 일부 RL 베이스라인이 1%대의 F1로 사실상 실패 — 이 논문 비교의 일부 baseline이 공정한 대안인지 의문이다.
• 순차 망각: recurrent 메모리 에이전트는 멀리 떨어진 두 사실을 잇지 못한다(예: Shirley Temple과 Kiss and Tell을 별도 문서에서 만났을 때 잊어버림).
• RL 유도 파라메트릭 환각: RL 에이전트가 학습 데이터의 오타(Levni)나 학습된 패턴을 우선시하고 컨텍스트를 무시한다.
• 쿼리 분해 실패: LLM이 직교하지 않은 하위 질문을 만들면 채널 간 정보가 중복·간섭되어 다중 커널 이점이 사라진다.
• 데이터셋 모호성: ‘country’처럼 모호한 질문은 컨텍스트에 답이 없을 때 모델이 hallucination 또는 폴백 답변을 낼 수밖에 없다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

RAG 파이프라인의 선형 메모리 업데이트를 로그 트리 컨볼루션으로 교체

장기 기억을 쓰는 에이전트라면 retrieved chunk를 단일 LLM 컨텍스트에 순차 주입하는 대신, 8K 윈도우 단위로 잘라 vLLM에 비동기 배치로 동시에 전달한다. 각 세그먼트의 요약을 다음 계층의 입력으로 재귀 처리하고, 트리 깊이는 요약 토큰이 윈도우 크기 안에 들어올 때까지 자동 조절한다(L≈23 for 128k, 34 for 1M). 이때 논문의 Eq. 5(계층 합성)와 Eq. 8(T_latency ∝ O(log N))을 그대로 따른다. 5x 오버스캔(stride=1,600)으로 경계 잘림을 막는다. 적용 지점: RAG 검색 후 컨텍스트 합성 단계.

적용 지점 — 장기 문서 컨텍스트 합성 단계

기대 효과 — 896k 컨텍스트에서 F1 59.06(vs 베이스 20.93), latency 복잡도 O(N)→O(log N)

다중 엔티티 질의에 직교 채널 자동 분해

‘A의 동생이 출연한 영화를 감독한 사람’처럼 여러 엔티티가 얽힌 질의가 들어오면, LLM에게 JSON 형태로 subproblem 배열을 먼저 추출하라고 지시한다(논문 F.1 프롬프트). 각 subproblem은 독립된 커널로 같은 문서를 다른 시선에서 스캔한다. 채널별 요약과 잔차 버퍼를 분리해 엔티티 간 간섭을 차단한다. 논문의 Eq. 4(H^(c) = Conv(D, K^(c)))를 그대로 사용한다. 적용 지점: RAG 합성 직전의 다중 엔티티 검색 단계.

적용 지점 — 다중 엔티티 multi-hop 질의의 검색·합성 단계

기대 효과 — 68.0 → 77.3 Sub-EM on 2Wiki(다중 커널 Ablation, Fig. 5 Left, +9.3pt)

고신뢰 패시지 잔차 스킵 — 요약 압축 없는 원문 보존

각 세그먼트 스캔 시 관련성 점수 0/1/2를 함께 출력하도록 커널을 구성한다(논문 Eq. 1, F.2 Skip Connection Prompt). r=2(‘답을 포함함’)로 분류된 세그먼트는 요약하지 않고 별도 잔차 버퍼 B에 보존해, 최종 답변 생성 단계에서 LLM이 (요약 ⊕ 잔차)를 함께 본다(논문 Eq. 3, 6). 이렇게 하면 사람 이름·날짜 같은 fine-grained 사실이 계층 요약에서 손실되지 않는다. 적용 지점: 장문 QA의 최종 답변 생성 직전 컨텍스트 구성.

적용 지점 — 장문 QA의 최종 답변 생성 직전 컨텍스트 구성

기대 효과 — 65.6 → 77.3 Sub-EM(Skip Ablation, Fig. 4 Right, +11.7pt)

청킹 단계 오버스캔으로 경계 잘림 제거

일반적인 RAG 청커는 stride=window로 한 번만 처리하지만, ConvMem은 stride=1,600 + window=8,000으로 같은 토큰을 5번 본다. 1x(64.8) → 3x(69.5) → 5x(77.3) → 10x(75.0) 추이를 보면(Fig. 4 Left), 5x가 coverage/noise 트레이드오프 최적점이다. 즉 청킹 단계만 바꿔도 RAG recall이 약 12pt 올라간다. LLM 호출 횟수도 늘어나므로 캐시·비용 모니터링을 동반한다. 적용 지점: RAG 전 단계의 문서 청킹·슬라이딩 윈도우.

적용 지점 — RAG 전 단계의 문서 청킹·슬라이딩 윈도우

기대 효과 — 64.8 → 77.3 Sub-EM(1x vs 5x Over-scanning Ablation, Fig. 4 Left, +12.5pt)

단계별 도입 로드맵

원문 PDF: 2026-09-10-convmem-convolutional-memory-for-long-context-reasoning.pdf