LLM이 긴 문서를 못 읽는 문제를, 텍스트를 잘라 여러 LLM에 동시에 읽히고 요약하게 한 뒤 그 요약들을 트리 모양으로 합치는 '컨볼루션 메모리'로 푼다.
LLM이 긴 문서를 못 읽는 문제를, 텍스트를 잘라 여러 LLM에 동시에 읽히고 요약하게 한 뒤 그 요약들을 트리 모양으로 합치는 ‘컨볼루션 메모리’로 푼다. 무엇이 문제였나 — 기존 메모리 에이전트는 문서를 한 줄로 순차 읽기 때문에 느리고, RL로 학습한 에이전트는 학습 데이터에만 잘 답하는 과적합 문제가 있다. 어떻게 풀었나 — CNN에서 영감을 받아 LLM을 ‘의미 필터’로 쓰고, 윈도우를 겹쳐 5회 스캔(stride 1,600/window 8,000)해 경계 손실을 없애며, 여러 하위 질문으로 쪼개 병렬 채널에서 따로 추적한다. 결정적 원문은 요약 없이 최종 단계로 직송한다. 그래서 뭐가 좋아졌나 — 지연이 O(N)에서 O(log N)으로 줄고, 백만 토큰 분포 외 데이터에서도 RL 기반 에이전트보다 정확하다. ...