AI 에이전트의 안전성을 여러 공격 방법으로 시험하고, 시험에서 배운 점을 다음 지침에 반영하는 방법이다.

AI 에이전트의 안전성을 여러 공격 방법으로 시험하고, 시험에서 배운 점을 다음 지침에 반영하는 방법이다.

무엇이 문제였나 — 한 가지 공격 방식만 쓰면 에이전트의 다른 약점을 찾지 못할 수 있다. 어떻게 풀었나 — 이 방법은 여러 공격 도구를 시험하고, 성공과 실패 기록을 짧은 지침으로 정리한다. 그래서 뭐가 좋아졌나 — 새 지침은 별도 검증에서 점수가 나아질 때만 채택하며, 논문에서는 도구 호출을 줄이면서 공격 성능을 높였다.

여러 열쇠로 문을 시험하는 점검팀을 떠올려 보자. 문이 열린 기록을 보고 어떤 열쇠가 효과가 있었는지 살피고, 다음 점검 지침을 만든다. 새 지침은 별도 시험에서 결과가 좋아졌을 때만 사용한다.

논문 정보

Junjie Zhang, Hui Liu, Kecheng Chen, Xianbo Mo, Changsheng Chen, Haoliang Li · City University of Hong Kong; Shenzhen MSU-BIT University · arXiv preprint (arXiv:2608.27439v1 [cs.CR]) · 2026

왜 중요한가

AI 에이전트는 글을 만드는 데 그치지 않고 파일을 바꾸거나 외부 서비스에 요청을 보낼 수 있다. 배포 전 여러 방식으로 시험하면 이런 실행 과정에서 생길 수 있는 취약점을 찾아 안전성을 점검하는 데 도움이 된다.

핵심 지표

어떻게 동작하나

논문은 고정 공격 방식의 제한된 탐색과 기존 공격 기록 검색의 편향·불명확한 도구 기여 문제를 다룬다. RedEvoAgent는 GPT-4o mini 공격자 모델이 ReAct 방식으로 GCG, AutoDAN, AmpleGCG, Template, FlipAttack, RolePlay, Prompt Substitution 도구를 사용하거나 대상 에이전트에 질의하도록 한다. 훈련 자료에서 각 도구를 따로 평가해 효과 프로필을 만들고, 성공·실패 공격 기록을 수집한다. 성공한 기록에는 첫 성공 대상 질의 직전의 도구를 결정 도구로 표시한다. 기술 요약 모델이 후보 지침을 작성하면 검증 자료의 평균 점수가 현재 지침보다 엄격히 높을 때만 채택한다. 거부된 후보와 점수는 다음 편집을 위한 맥락에 보관하며, 시험 자료는 최종 평가에만 사용한다. 실험은 ASB 400건, AgentHarm 208건, 세 대상 모델과 Claude Code·Codex 하네스를 사용했고 공격 예산은 B=20, 진화 최대 라운드는 R=4였다.

핵심 수식:

e_t = (1/|D_tr|) Σ_{x∈D_tr} r_x(t)
J_D(s) = (1/|D|) Σ_{x∈D} r_x(s)
s_i* = ŝ_i if J_Dva(ŝ_i) > J_Dva(s_{i−1}*), otherwise s_{i−1}*

e_t는 훈련 자료에서 도구 t를 단독 평가한 평균 점수다. r_x는 사례 x의 벤치마크 점수, J_D(s)는 자료 집합 D에서 지침 s의 평균 점수다. ŝ_i는 i번째 후보 지침, s_i*는 i번째 라운드 뒤 승인된 지침이며 D_va는 검증 자료다.

한계와 주의할 점

• AgentHarm 검증 자료는 20건이며 논문에는 신뢰구간, p값 또는 짝지은 유의성 검정이 보고되지 않아 작은 차이의 불확실성을 판단하기 어렵다.
• 검증 점수의 개선이 시험 성능 개선을 보장하지 않는다. AgentHarm·MiniMax에서 R4는 검증 HarmScore를 18.5에서 28.1로 높였지만 시험 점수는 R2의 28.8에서 R4의 20.8로 낮아졌다.
• 성공 직전 도구를 성공의 결정 도구로 표시하는 방식은 도구의 인과적 기여를 증명하지 않는다. 앞선 도구가 성공의 기반을 만들었을 가능성도 남는다.
• 실험은 ASB·AgentHarm, 세 대상 모델, 두 실행 하네스에 한정된다. AgentHarm·MiniMax·Claude Code에서는 RedEvoAgent의 20.8이 MAJIC의 22.6보다 낮았다.
• 반복 평가와 도구 호출 수는 보고되지만, 실행 시간이나 금전 비용은 정량화되지 않아 운영 비용 절감 규모를 판단하기 어렵다.
• 검증 자료와 시험 자료의 사례 구성이 다르면 검증에서 채택된 지침이 시험에서는 성능이 낮을 수 있다. AgentHarm·MiniMax 결과가 그 사례다.
• 성공 기록에서 함께 등장한 도구를 실제 원인으로 잘못 학습하면 특정 도구에 편중되는 자기강화가 발생할 수 있다.
• 대상 모델이나 실행 환경이 달라지면 도구별 효과와 우선순위가 바뀔 수 있다.
• 도구 전환과 대상 질의에 공격 예산을 모두 사용하면 새 전략을 시험하지 못하고 종료될 수 있다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

검증을 통과한 장기 스킬 메모리

장기 기억에서 개별 경험을 매번 검색하는 대신 여러 사례의 공통 패턴을 짧은 문서로 정리한다. 후보 문서는 독립 검증에서 현재 문서보다 점수가 높을 때만 교체하고, 거부된 후보와 점수를 남겨 같은 수정이 반복되는 것을 줄인다. 논문은 공격 스킬에 이 절차를 적용했으며 일반 장기 기억 에이전트에 대한 효과는 별도 시험이 필요하다.

적용 지점 — 에이전트 장기 기억 회수

기대 효과 — 논문의 표 2에서 ASB MiniMax-M2.5 / Claude Code는 No Skill 77.5%에서 진화 지침 93.2%로, AgentHarm DeepSeek-V4-Flash / Claude Code는 34.3%에서 74.3%로 높아졌다. 일반 장기 기억 에이전트에 대한 수치는 논문에서 평가하지 않았다.

도구별 효과를 측정한 선택 정책

도구를 같은 훈련 사례에서 따로 실행해 e_t를 계산하고 선택 정책의 참고 정보로 사용한다. 대상 모델이나 실행 환경이 바뀌면 다시 측정한다. 논문은 이 프로필을 공격 지침 작성에 활용했으며, 다른 도구 선택 정책에 적용할 때는 효과를 별도로 평가해야 한다.

적용 지점 — 다중 도구 선택 정책 엔진

기대 효과 — ASB MiniMax-M2.5 / Claude Code에서 전체 시스템은 93.2%였고, 도구 효과 프로필을 제거한 조건은 76.9%였다.

성공을 결정한 도구 표시

도구 오케스트레이터의 성공 기록에 첫 성공 QUERYTARGET 직전 도구를 표시한다. 논문은 이 방식으로 단순 동시 등장에 따른 잘못된 도구 귀속을 줄이려 한다. 이 표시는 성공을 일으킨 인과적 원인을 증명하지 않으므로 앞선 도구의 기여를 함께 살펴야 한다.

적용 지점 — 도구 호출 행동 귀속 로그

기대 효과 — ASB MiniMax-M2.5 / Claude Code에서 결정 도구 표시를 제거하면 ASR이 93.2%에서 87.5%로 낮아졌다.

실패 후보를 기록하는 승인형 개선 루프

매 라운드 후보 문서를 만든 뒤 독립 검증 점수가 현재 문서보다 엄격히 높을 때만 교체한다. 거부된 후보와 점수는 같은 수정이 반복되지 않도록 다음 라운드에 제공한다. 검증 점수의 향상이 시험 자료의 성능 향상을 보장하지 않으므로 두 점수의 변화를 따로 살핀다.

적용 지점 — 자기개선 전략 문서 편집 루프

기대 효과 — AgentHarm·MiniMax에서 R4는 검증 점수를 18.5에서 28.1로 높였지만 시험 점수는 R2의 28.8에서 20.8로 낮아졌다. 검증 래칫은 검증 점수 하락을 막지만 시험 일반화를 보장하지 않는다.

재현 가능한 격리 레드팀 환경

모의 도구를 연결한 격리 환경에서 벤치마크 사례, 실행 기록, 채점 결과를 함께 관리한다. 모델이나 실행 하네스가 바뀌면 기존 지침을 먼저 재학습 없이 시험하고 필요할 때 다시 진화시킨다. 실제 자격 증명과 운영 데이터는 시험 환경에 연결하지 않는다.

적용 지점 — 샌드박스형 에이전트 레드팀 실행 환경

기대 효과 — Claude Code에서 진화한 지침을 Codex로 옮겼을 때 ASR은 90.5%였고, Codex의 No Skill은 80.8%였다. Codex에서 직접 진화한 지침은 92.8%였다.

단계별 도입 로드맵

원문 PDF: 2026-08-28-redevoagent-automatic-red-teaming-agent-with-experience-driven-skill-evo.pdf