에이전트가 쌓아둔 기억을 새 모델이 이어받을 때, 어떤 기억 방식은 거의 그대로 살아남고 어떤 방식은 조용히 망가지는지 측정한 연구다.

에이전트가 쌓아둔 기억을 새 모델이 이어받을 때, 어떤 기억 방식은 거의 그대로 살아남고 어떤 방식은 조용히 망가지는지 측정한 연구다.

무엇이 문제였나 — 모델을 새것으로 바꿔도 저장된 기억을 그대로 쓰면 된다고 생각하기 쉽지만, 실제로는 새 모델이 옛 기억을 다르게 읽거나 검색이 빗나갈 수 있다. 어떻게 풀었나 — 연구진은 원본 기록, 검색용 조각, 요약 노트, 정해진 양식의 지식 그래프를 같은 조건에서 비교했다. 그래서 뭐가 좋아졌나 — 정해진 양식으로 저장한 기억은 모델이 바뀌어도 안정적이었지만, 모델이 자유롭게 쓴 요약 노트는 누가 쓰고 누가 읽느냐에 따라 성능이 크게 흔들렸다. 원본 기록을 남겨두지 않으면 망가진 요약 노트를 되살리기도 어렵다.

업무 인수인계에 비유할 수 있다. 표준 양식에 날짜와 담당자와 상태가 또렷하게 적혀 있으면 새 담당자가 쉽게 이어받는다. 반대로 전임자가 자기 방식대로 줄여 쓴 메모만 남기면 중요한 내용이 빠졌는지 알기 어렵다. 원본 회의록이 남아 있으면 다시 확인할 수 있지만, 원본을 버렸다면 빠진 정보는 되살릴 수 없다.

논문 정보

Ankit Goyal, Jaideep Ray · LinkedIn · arXiv preprint · 2026

왜 중요한가

회사나 개인이 쓰는 AI 에이전트는 시간이 지나며 더 좋은 모델로 교체된다. 이때 기억이 조용히 손상되면 사용자는 이유도 모른 채 이전 약속, 선호, 작업 맥락을 잃게 된다. 이 논문은 어떤 저장 방식이 업그레이드에 강한지, 임베딩 교체 때 무엇을 피해야 하는지, 복구를 위해 어떤 원본 데이터를 보존해야 하는지를 실험으로 보여준다.

핵심 지표

어떻게 동작하나

이 연구는 에이전트 메모리의 휴대성을 통제된 조건에서 측정하기 위해 48개의 합성 이력을 설계했다. 각 이력은 160개의 질문을 포함하며 답변 코드는 무작위로 생성되어 모델의 사전 학습 지식에 의존하지 못하게 했다. 메모리 작성자(W), 독자(R), 임베더(E), 복구자(ρ)를 한 번에 하나씩 바꾸며 정밀 일치 정확도, RPAS(교체 후 잔존 성능), CTR(복구 비용)을 측정했다. 네 가지 사전 고정 가설(H1, H2, H4a, H7a)을 5pp 임계값과 Holm 보정으로 검정했고, 이후 10,000회 부트스트랩으로 같은 결론을 확인했다. 사용 모델은 Llama-3.1-8B-Instruct와 Qwen2.5-7B-Instruct-1M이며, 임베딩은 bge-large-en v1.0에서 v1.5로 교체했다. NOTES와 KG-fixed는 모델이 작성하지만 LC-RAW와 RAG은 작성자 모델에 의존하지 않아 통제군 역할을 한다.

핵심 수식:

RPAS_s(A\rightarrow B) = \frac{\mathrm{Perf}(s, W=A, R=B) - \mathrm{chance}}{N_s(B) - \mathrm{chance}}

Perf(s, W=A, R=B)는 모델 B가 모델 A가 만든 저장소를 읽은 성능이고, N_s(B)는 모델 B가 직접 만든 자기 저장소를 읽은 성능이다. chance는 무작위 정답 기준선이다. RPAS가 1이면 손실 없음, 0.8이면 자기 저장소 성능의 80%가 남았다는 뜻이며, 1보다 크면 물려받은 저장소가 자기 저장소보다 더 잘 작동한 것이다.

한계와 주의할 점

• 단일 합성 워크로드만 사용했다. 48개 이력은 손실 위치를 분리하는 데 유리하지만, 실제 사용자 대화의 자연스러운 문체와 주제 분포를 반영하지 못한다.
• 두 개의 비슷한 규모 모델(Llama-3.1-8B, Qwen2.5-7B)만 테스트했다. 더 큰 모델, 다른 모델 패밀리, 멀티모달 모델에서의 휴대성은 검증되지 않았다.
• KG-fixed 스키마가 이 합성 작업의 이벤트 필드에 잘 맞도록 설계되어 있다. 실제 도메인에서 스키마가 중요한 사실을 담지 못하면 안정성 이점도 줄어들 수 있다.
• RAG는 단일 단계 밀집 검색기(cosine top-k=8, 리랭커·하이브리드 검색 없음)만 사용했다. 더 강한 검색 파이프라인에서는 절대 정확도와 검색 실패율이 달라질 수 있다.
• Llama가 복구 단계에서 출력 토큰 한계에 걸려 NOTES 원본 이력 복구에 모두 실패했다. 더 큰 출력 예산에서는 결과가 달라질 수 있다.
• 서명된 계획은 내부 분석 잠금에 가깝고 완전한 사전등록은 아니다. 부트스트랩은 t-검정 결과를 본 뒤 실행되었다.
• NOTES에서 사실 누락: 작성 모델이 중요한 정보를 요약 단계에서 빠뜨리면 독자 모델은 그 사실을 복구할 수 없다. 진단 분해에서 NOTES 손실의 80%가 저장소 작성 단계에서 발생했다.
• 혼합 임베딩 인덱스의 무성 실패: v1.0과 v1.5가 모두 1024차원이라 시스템은 계속 동작하지만, 서로 다른 벡터 공간이 섞여 검색 품질이 떨어진다.
• 원본 이력 없는 NOTES 복구 불가: store-only NOTES 재작성은 48개 이력 모두에서 90%, 95%, 99% 복구 목표에 도달하지 못했다.
• 복구 모델의 출력 토큰 한계: 원본 이력이 있어도 복구 모델이 재구축 출력을 끝내지 못하면 복구에 실패한다. Qwen은 34/48건 성공했지만 Llama는 0/48건이었다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

RAG 인덱스 마이그레이션에서 임베딩 공간 혼합 금지 게이트 추가

운영 중인 RAG 파이프라인이 bge-large-en v1.0을 v1.5로 교체할 때, 1024차원이 같다는 사실만으로 기존 인덱스에 새 벡터를 섞으면 잠재 이득의 대부분을 잃을 수 있다. 구체적으로 새 인덱스를 별도 컬렉션으로 구축하고, 필요하면 버전 라우터로 분리된 인덱스에 질의한다. 전환 전후에는 recall@k와 MRR을 각각 측정한다. 본 논문의 50/50 혼합 +4.96pp vs 완전 재색인 +11.90pp 차이가 직접 근거다.

적용 지점 — RAG 검색 인덱스 빌드 파이프라인

기대 효과 — 이 실험 조건에서는 혼합 인덱스 대비 완전 재색인으로 +6.94pp의 추가 정확도 이득을 회수할 수 있다(11.90 − 4.96).

NOTES 복구를 위한 원본 이력 암호화 보존 + 복구 모델 사전 벤치마크

장기 운영되는 에이전트가 NOTES 저장소를 쓸 때, 원본 대화 이력을 별도 암호화 저장소에 일정 기간 보존한다. 복구 시에는 기존 NOTES만 다시 쓰는 대신 원본에서 재구축한다. 동시에 복구 모델이 출력 토큰 한계 안에서 작업을 끝낼 수 있는지 미리 검증한다. 본 논문에서 Qwen은 원본 이력 기반으로 34/48건을 90% 목표까지 복구했지만, Llama는 출력 한계로 0/48건에 그쳤다.

적용 지점 — 장기 메모리 저장소와 복구 파이프라인

기대 효과 — 이 실험의 Qwen 방향에서는 store-only 0/48에서 raw-retained 34/48로 90% 복구 성공 사례가 늘었다.

모델 업그레이드 게이트에 방향별 정확도 차이 테스트 의무화

NOTES에서 관측된 −13.28pp vs +9.91pp처럼, 방향 평균이 0 근처여도 한쪽 방향은 큰 손실을 낼 수 있다. 따라서 메모리 마이그레이션 체크리스트를 A→B 정확도, B→A 정확도, 형식별 RPAS, 검색 리콜, 복구 가능성으로 구성한다. 20-probe 체크는 나쁜 후보를 빠르게 걸러내는 용도로 쓰고, 최종 승인은 더 큰 평가로 확인한다.

적용 지점 — 에이전트 모델 업그레이드 승인 게이트

기대 효과 — 방향 평균에 가려지는 −13.28pp 수준의 손실을 배포 전에 드러낼 수 있다.

도메인 이벤트 필드에서 KG-fixed 스키마를 사전 도출하는 설계 절차 채택

새로운 도메인용 에이전트 메모리를 설계할 때, 작업 도메인의 핵심 필드를 바탕으로 스키마를 먼저 정하고 모델은 value 슬롯만 채우도록 한다. 이 논문의 KG-fixed는 키, 관계명, 소스 필드, 읽기 규칙을 고정해 작성자 교체 시 정확도 차이를 +0.0004 ± 0.0020 수준으로 낮췄다. 단, 이 결과는 스키마가 합성 작업에 잘 맞았기 때문에 나온 것이므로 실제 도메인에서는 스키마 커버리지를 별도로 평가해야 한다.

적용 지점 — 에이전트 장기 메모리 저장소 스키마 정의 단계

기대 효과 — 이 실험에서는 모델 작성자 교체 후 KG-fixed 정확도 차이가 사실상 0에 가까웠고, KG-fixed 스키마 재구축은 90% 목표에서 양방향 모두 48/48건 성공하며 비용도 ≈$0로 보고되었다.

단계별 도입 로드맵

원문 PDF: 2026-09-08-does-your-agent-s-memory-survive-a-model-upgrade-a-controlled-study-of-m.pdf