AI 에이전트 비용을 줄이는 핵심, 프롬프트 캐싱 제대로 이해하기
AI 에이전트는 매 턴마다 비용을 낸다 AI 에이전트를 오래 실행해 본 사람이라면 한 가지 이상한 비용을 보게 된다. 새로 한 일이 많지 않은데도 입력 토큰 비용이 계속 커진다. 이유는 단순하다. 에이전트는 매 요청마다 시스템 지침, 도구 정의, 프로젝트 설명, 이전 대화 맥락을 다시 읽는다. 이미 알고 있는 내용을 반복해서 처리하는 셈이다. 원문에서는 이것을 **컨텍스트 세금(Context Tax)**이라고 표현한다. 예를 들어 20,000토큰짜리 시스템 프롬프트를 50턴 동안 반복해서 처리하면, 새 가치를 만들지 않는 입력 계산만 100만 토큰이 된다. 프롬프트 캐싱은 바로 이 낭비를 줄이기 위한 기술이다. ...