핵심 요약
AI 에이전트 도입을 이야기하면 많은 조직이 모델 성능, 프롬프트, 데모 완성도에 먼저 집중합니다. 하지만 MIT Sloan의 글 **“5 heavy lifts of deploying AI agents”**가 전하는 결론은 다릅니다. 실제 배포에서 가장 무거운 일은 모델을 더 똑똑하게 만드는 것이 아니라, 조직과 인프라가 에이전트를 감당할 수 있게 바뀌는 것입니다.
임상 현장에서 본 에이전트 도입의 현실
이 글은 암 환자의 면역치료 부작용을 탐지하는 에이전틱 AI 시스템 연구를 바탕으로 합니다. 환자의 전자의무기록에는 길고 비정형적인 임상 노트가 많고, 부작용 신호는 그 안에 흩어져 있습니다. 연구진은 AI 에이전트가 기록을 읽고 부작용 여부와 심각도를 판단한 뒤, 임상의와 연구 코디네이터가 검토할 보고서를 만들도록 했습니다.
장점은 분명합니다. 사람이 몇 시간에서 며칠 걸려 확인하던 기록을 에이전트는 몇 분 안에 처리할 수 있습니다. 하지만 연구진이 발견한 더 중요한 사실은 따로 있습니다. 전체 노력 중 프롬프트 엔지니어링과 모델 개발은 20% 미만이었고, 80% 이상은 실제 운영을 위한 사회기술적 작업이었습니다.
다섯 가지 heavy lift
첫째는 데이터 통합입니다. 에이전트는 실시간으로 변하는 데이터를 먹고 움직입니다. 데이터가 라벨링되어 있지 않거나, 접근 권한이 불명확하거나, 파이프라인이 안정적이지 않으면 시스템은 금방 막힙니다.
둘째는 모델 검증입니다. 에이전트 검증은 출력이 맞는지 보는 데서 끝나지 않습니다. 허용된 도구만 썼는지, 정해진 규칙을 따랐는지, 각 단계가 감사 가능한지도 확인해야 합니다.
셋째는 경제적 가치 계산입니다. 에이전틱 워크플로우는 매번 비용이 같지 않습니다. 어떤 작업은 더 많은 추론과 에이전트 협업을 요구합니다. 그래서 ROI는 고정값이 아니라 여러 비용 시나리오를 실험해 범위로 잡아야 합니다.
넷째는 드리프트 모니터링입니다. 에이전트는 여러 단계에 걸쳐 추론하고 행동합니다. 단순 임계값만으로는 부족합니다. 데이터 입력, 모델 행동, 감시 시스템의 반응까지 동적으로 추적해야 합니다.
다섯째는 거버넌스입니다. 어떤 결정은 모델이 하고, 누가 통보받아야 하며, 문제가 생기면 누가 책임지는지 명확해야 합니다. 특히 의료처럼 고위험 영역에서는 모든 단계의 보안, 합법성, 책임 경계가 중요합니다.
실무자가 볼 포인트
이 글의 메시지는 꽤 현실적입니다. 에이전트 도입은 “좋은 모델을 붙이면 끝”이 아닙니다. 연구진은 모델을 다듬는 1시간마다 현실에서 작동하게 만드는 데 약 4시간이 필요하다고 말합니다.
기업이 에이전트를 도입하려면 먼저 물어야 합니다. 우리 데이터는 에이전트가 읽을 수 있는가? 에이전트 행동을 검증하고 감사할 수 있는가? 비용은 통제 가능한가? 드리프트를 감지할 수 있는가? 책임자는 정해져 있는가?
겅허게 말하면, AI 에이전트의 성공은 프롬프트보다 운영 체계에서 갈립니다.
결론
MIT Sloan의 사례는 에이전틱 AI의 가능성과 부담을 동시에 보여줍니다. 에이전트는 사람보다 빠르게 복잡한 기록을 처리하고, 반복 업무를 줄일 수 있습니다. 하지만 그 힘을 실제 조직 안에서 쓰려면 데이터, 검증, 비용, 모니터링, 거버넌스라는 다섯 가지 무거운 짐을 들어야 합니다.
앞으로 에이전트 경쟁력은 모델 성능만이 아니라, 조직이 이 다섯 가지를 얼마나 잘 운영하느냐에서 결정될 가능성이 큽니다.