에이전트가 실제 작업 중 겪은 실패와 회복 사례를 모아, 외부의 안전 규칙과 모델의 판단 습관을 함께 고치는 방법이다.
에이전트가 실제 작업 중 겪은 실패와 회복 사례를 모아, 외부의 안전 규칙과 모델의 판단 습관을 함께 고치는 방법이다. 무엇이 문제였나 — 문제: 도구를 쓰는 AI 에이전트는 웹페이지·이메일·파일·도구 응답에 숨어 있는 나쁜 지시나, 사용자의 위험한 요청에 끌려갈 수 있다. 어떻게 풀었나 — 해결: 작업 기록을 살펴 안전 실패를 분류하고, 외부 안전 매뉴얼을 조금씩 고친 뒤, 모델도 그 매뉴얼을 실제 행동에서 쓰도록 다시 학습시킨다. 그래서 뭐가 좋아졌나 — 결과: 주입 공격 성공률과 유해 요청 수행이 줄었고, 정상 작업 능력은 대체로 유지되거나 일부 개선되었다. ...