AI 에이전트가 잠시 툴을 쓰러 가도, 다음에 다시 쓸 대화 기록을 더 잘 남겨두는 메모리 관리 장치를 제안한 연구. 무엇이 문제였나 — 문제: 에이전트는 툴 결과를 기다리다가 같은 작업으로 돌아오는데, 기존 캐시 정책은 그 기다림을 ‘오래 안 쓴 데이터’로 보고 버리기 쉽다. 어떻게 풀었나 — 해결: 각 작업이 보통 얼마나 있다가 돌아오는지와 지금 몇 번째 단계인지 보고, 버릴 작업과 빠른 메모리에 둘 작업을 같은 점수로 고른다. 그래서 뭐가 좋아졌나 — 결과: 6개 실제 에이전트 트레이스에서 적중률은 0.323.1%p 높아지고, 평균 메모리 접근 시간은 2251% 줄었으며, 긴 작업에서는 첫 토큰 지연도 58~89% 줄었다. ...
언어 모델이 답을 쓰는 도중에 ‘전체를 볼지, 특정 부분만 볼지, 방금 쓴 내용만 볼지’를 직접 표시하게 해서 긴 문서를 더 싸게 읽게 만드는 방법이다. 무엇이 문제였나 — 긴 문서를 다루는 모델은 답의 한 단어를 만들 때마다 앞의 긴 입력을 거의 다시 훑어야 해서 시간이 많이 든다. 어떻게 풀었나 — 이 논문은 모델이 답을 쓰는 중에 , , 같은 표시를 남기게 하고, 실행 시스템이 그 표시에 맞춰 필요한 부분만 읽게 한다. 그래서 뭐가 좋아졌나 — 큰 모델 두 종류에서 15개 긴 문서 과제를 평가했더니 읽어야 하는 양은 31.152.0% 줄었고, 정답률 하락은 1.272.75%p였다. ...
개요 바이두가 6월 24일 Unlimited OCR을 공개했습니다. 이름은 좀 과해 보입니다. 그래도 핵심 아이디어 하나는 또렷합니다. 출력이 아무리 길어져도 KV 캐시가 늘지 않는다는 점입니다. 모델 자체는 총 3B 파라미터의 MoE이고, 추론할 때 실제로 도는 전문가는 500M뿐입니다. DeepSeek OCR을 처음부터 다시 짠 게 아니라, 그 체크포인트에서 디코더만 갈아 끼우고 이어 학습한 결과물입니다. 라이선스도 MIT라 가중치를 그대로 가져다 써도 됩니다. ...
개요 긴 컨텍스트 LLM을 직접 돌려본 사람이면 다 압니다. GPU가 노는데도 토큰은 느리게 나옵니다. 범인은 연산이 아니라 KV 캐시입니다. 시퀀스가 길어질수록 캐시가 선형으로 부풀어, 매 토큰마다 그 큰 덩어리를 HBM으로 다시 끌어와야 합니다. 메모리 대역폭이 천장을 치는 순간 디코딩 속도가 무너집니다. ...
AI 에이전트는 매 턴마다 비용을 낸다 AI 에이전트를 오래 실행해 본 사람이라면 한 가지 이상한 비용을 보게 된다. 새로 한 일이 많지 않은데도 입력 토큰 비용이 계속 커진다. 이유는 단순하다. 에이전트는 매 요청마다 시스템 지침, 도구 정의, 프로젝트 설명, 이전 대화 맥락을 다시 읽는다. 이미 알고 있는 내용을 반복해서 처리하는 셈이다. 원문에서는 이것을 **컨텍스트 세금(Context Tax)**이라고 표현한다. 예를 들어 20,000토큰짜리 시스템 프롬프트를 50턴 동안 반복해서 처리하면, 새 가치를 만들지 않는 입력 계산만 100만 토큰이 된다. 프롬프트 캐싱은 바로 이 낭비를 줄이기 위한 기술이다. ...