사람 눈에는 뜻이 똑같은 두 글을 AI에 보여줬더니 대답이 정반대로 뒤집히는 현상을 찾아낸 연구

사람 눈에는 뜻이 똑같은 두 글을 AI에 보여줬더니 대답이 정반대로 뒤집히는 현상을 찾아낸 연구

무엇이 문제였나 — AI는 같은 질문이라도 앞에 붙은 글의 표현이나 단어에 따라 답이 조금씩 흔들린다는 게 알려져 있었다 어떻게 풀었나 — 연구진은 수천 개의 글을 넣어보며 단어 하나하나가 답을 어느 쪽으로 미는지 점수를 매기고, 같은 쪽으로 미는 것만 골라 모았다 그래서 뭐가 좋아졌나 — 그렇게 만든 두 글은 사람이 보기엔 뜻이 같은데도, AI의 답을 ‘아니오’ 쪽에서 ‘예’ 쪽으로 거의 100% 뒤집었다

시험 답안지를 어떤 펜으로 썼는지, 글씨가 얼마나 반듯한지, 여백에 뭘 적었는지 같은 사소한 것들이 채점자에게 조금씩 쌓여 점수를 바꾸는 것과 비슷하다. 하나하나는 거의 영향이 없지만, 같은 방향으로 미는 것만 잔뜩 모으면 결과가 거의 정해져 버린다.

논문 정보

Enric Boix-Adsera, Benedict Tessler · University of Pennsylvania · Preprint (arXiv, 2026-08-18) · 2026

왜 중요한가

겉으로는 전혀 수상하지 않은 글로 AI의 판단을 조종할 수 있다는 뜻이다. AI끼리 주고받는 글에 몰래 신호를 숨겨 서로를 유도할 수도 있고, 안전과 관련된 답이 의도치 않게 흔들릴 수도 있다. 게다가 한 AI에서 찾아낸 조종 문구가 다른 회사의 다른 AI에도 통하기 때문에, 한 곳만 막는다고 해결되지 않는다.

핵심 지표

어떻게 동작하나

4개 cue 계열(animal 목록 L=10·슬롯당 200개, paraphrase L=20·10개, typo L=20·6개, json L=12·6개)과 3개 이진 측정 효과(5v7, trolley, consciousness)를 조합해 4×3=12개 실험 설정을 만든다. 각 설정에서 log-odds ℓ(s)=log[P(y⁺|P(s))/P(y⁻|P(s))]를 측정하고, 슬롯별 가산 모델 ℓ̂(s)=β₀+Σᵢβᵢ(sᵢ)를 적합한다. 비추론 모델 16종(Qwen2.5 3B72B, Qwen3 4B32B, Qwen3.5-9B, Gemma-2-9B, Gemma-4-12B, Llama-3.1-8B, Phi-4, OLMo-2-7B, OLMo-3-7B)은 답 토큰 logit에서 ℓ(s)를 직접 읽어 N=12,000개 무작위 프롬프트에 ridge regression으로 적합한다. 추론 모델(Qwen3-8B 256/1024/4096 토큰 예산, GPT-OSS-20B, GPT-5.6-terra/sol, Gemini-3-Flash, Claude Haiku-4.5/Sonnet-5)은 토큰 logit을 쓸 수 없어 샘플링 결과에 logistic regression을 적합하며, 오픈웨이트는 N=20,000, 클로즈드웨이트는 N=2,500~12,000을 사용하고 사전 스크리닝으로 베이스라인이 0/1에 포화되지 않은 셀만 고른다. 적합된 βᵢ로 후보를 랭킹해 top/bottom-100을 실측 검증하고, tilt temperature τ로 exp(τβᵢ(u))에 비례하는 tilted sampling을 수행해 무작위 영역 밖으로의 외삽 정확도를 확인한다. 최종 극단 프롬프트는 신선한 100회 생성으로 확률을 재측정하고, 슬롯 기여 gᵢ=β̂ᵢ(sᵢ^top)−β̂ᵢ(sᵢ^bottom)와 inverse-Simpson L_eff=(Σgᵢ)²/Σgᵢ²로 효과의 분산 정도를 정량화한다.

Figure 1: 같은 이야기의 문장별 paraphrase 두 벌이 Qwen3-8B의 윤리 질문 응답을 P(yes) 6.0%(=no 94%)에서 99.93%로 뒤집는 대표 예시

질문도, 이야기의 의미도 동일하고 문장 표현만 다른데 응답이 완전히 전도된다 — 모델 최면의 가장 직관적인 증거

핵심 수식:

\ell(s) = \log \frac{\mathbb{P}(y^+ \mid P(s))}{\mathbb{P}(y^- \mid P(s))} \;\approx\; \hat{\ell}(s) = \beta_0 + \sum_{i=1}^{L} \beta_i(s_i), \qquad L_{\mathrm{eff}} = \frac{\left(\sum_{i=1}^{L} g_i\right)^2}{\sum_{i=1}^{L} g_i^2}

ℓ(s)는 프롬프트 P(s)에서 두 응답 y⁺, y⁻의 log-odds, ℓ̂(s)는 그 가산 근사(식 3). β₀는 절편, βᵢ(sᵢ)는 슬롯 i에 조각 sᵢ를 넣었을 때의 cue score. gᵢ = β̂ᵢ(sᵢ^top) − β̂ᵢ(sᵢ^bottom) ≥ 0는 슬롯 i의 조종 기여이고, L_eff는 그 기여가 실질적으로 몇 개 슬롯에 퍼져 있는지를 재는 inverse-Simpson 지표.

실험 결과

Figure 13: 16개 비추론 모델 × 12개 cue×effect 셀의 가산 모델 held-out R² (중앙값 0.75)

5-95 분위가 0.54-0.93로, 가산 가정이 모델 계열·크기를 가로질러 광범위하게 성립한다. 다만 typo 단서에서는 평균적으로 낮고 JSON 단서에서는 높다

Figure 12: 모델 간 전이 — source 모델에서 만든 극단 프롬프트가 target 모델에서도 순서(방향)를 유지하는 비율

대부분의 source-target 쌍에서 방향이 보존되며 특히 동일 계열 내에서 강하다. animal 단서와 일부 phrasing·JSON 단서는 우연 수준을 유의하게 넘어 전이되므로, 대리 모델로 조종 프롬프트를 만들 수 있다

한계와 주의할 점

• 가산 모델은 어디까지나 근사 — Figure 13 기준 R²는 typo 단서에서 상대적으로 낮고 JSON 단서에서 높으며, Appendix C의 Boolean 분석에서는 animal·paraphrase 설정에서 고차 상호작용의 기여가 지수적으로 감소함을 확인했을 뿐 전 설정에 대한 일반 결론은 없다
• 응답이 이진 선택으로 한정 — 다지선다·자유 생성으로의 확장은 가능하다고만 언급하고 본문에서는 수행하지 않았다(footnote 2)
• 베이스라인이 0이나 1에 포화된 셀에서는 log-odds가 크게 움직여도 모달 응답이 안 바뀜 — 추론 모델 실험은 아예 포화되지 않은 셀만 골라 진행했으므로 성공률에 선택 편향이 있다
• 방어에 대한 검증이 예비 수준 — Appendix B에서 주변 프롬프트를 paraphrase해도 상대적 cue 효과가 지속됨을 보였을 뿐, canonicalization·앙상블·무시 학습 등 제안된 방어는 실제로 평가하지 않았다
• 왜 단서가 가산적으로 쌓이는지에 대한 기계론적 설명이 없음 — 저자들도 mechanistic interpretability를 미해결 과제로 남겨두었다(Section 5)
• 탐지·제거 알고리즘이 제시되지 않아, 안전 함의는 문제 제기 수준에 머문다
• 베이스라인 확률 포화: 한쪽 답이 이미 거의 0 또는 1인 설정에서는 10배 수준의 logit 조종에도 모달 응답이 0.5 임계를 넘지 못함
• 고차 상호작용: pairwise 이상 상호작용은 가산 모델이 잡지 못함. animal·paraphrase에서는 기여가 지수적으로 감소하지만 다른 설정은 미확인 (Appendix C)
• 분포 밖 입력: 동일 항목이 반복되는 동물 목록 등 admissibility 제약을 깬 입력은 별도 분석 대상으로 분리됨 (Appendix D)
• 전이 실패: 대부분의 모델 쌍에서 방향이 보존되지만 계열이 다른 일부 쌍과 일부 cue 계열(특히 typo)에서는 전이가 우연 수준에 그침 (Figure 12)
• 탐색 절차의 한계: 무작위 표본으로 한 번 적합한 뒤 외삽하는 단순 방식이라, 예측된 극단 부근에서 재수집·재적합하는 적응적 절차보다 조종 강도가 약할 수 있음 (Section 5)

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

운영 프롬프트용 cue-stability 회귀 테스트

시스템 프롬프트의 각 슬롯(도구 설명, 페르소나 문장, 응답 포맷 지시)에 대해 가산 모델 βᵢ(sᵢ)를 자동 적합한다. 논문의 4개 cue 계열(animal·JSON·paraphrase·typo)을 그대로 빌려 변형을 생성하고, 조종 폭 ∆ℓ(무작위 프롬프트 표준편차 대비 배수)와 L_eff가 사전 정의 임계치를 넘으면 빌드를 실패시킨다. 논문이 R²가 typo 셀에서 낮다고 보고했으므로, typo 계열은 가산 적합만으로 판단하지 말고 실측 검증 셀을 반드시 함께 돌린다. 반복 항목 같은 분포 밖 입력은 별도 셀로 분리해 마킹만 한다. Section 3.1의 가산 모델과 Appendix A.2의 per-cell R² 분석을 그대로 차용한다.

적용 지점 — 프롬프트 템플릿 CI 및 배포 게이트

기대 효과 — 논문 Figure 1은 문장 paraphrase 스택만으로 P(yes)를 6.0%에서 99.93%까지 끌어올릴 수 있음을 보였다. 같은 프로토콜을 운영 프롬프트에 적용하면 배포 전에 이런 전도 가능성을 임계치로 잡아낼 수 있다

에이전트 간 메시지의 누적 단서 편향 탐지기

에이전트 출력 텍스트를 cue 후보로 보고 메시지 단위로 가산 모델을 적합한다. 정상 메시지라면 βᵢ가 무작위로 흩어지지만, 최면 시도라면 한 방향으로 정렬된다. 메시지별로 L_eff와 top-K βᵢ 합의 부호 일치도를 계산해 임계치 초과 메시지는 인간 검토 큐로 보낸다. 논문 Section 5의 은닉 채널 논의와 Section 4의 전이 결과를 근거로 하며, animal 단서는 대부분의 모델 쌍에서 방향이 보존되므로 한 모델에서 적합한 βᵢ를 다른 모델 메시지 감사에 재사용해 비용을 줄일 수 있다. 단, 논문 자체가 탐지 알고리즘을 제시하지 않았으므로 초기에는 오탐률 측정을 병행하는 관측 모드로 운영한다.

적용 지점 — 에이전트 출력 검증 레이어 / 메시지 감사 게이트

기대 효과 — 논문은 L_eff가 animals→trolley에서 9.3/10, phrasing→consciousness에서 17.6/20으로 효과가 다수 슬롯에 분산됨을 보였다. 이 ‘분산된 정렬’ 패턴 자체를 탐지 신호로 삼으면, 개별 토큰 검사로는 잡히지 않는 은닉 단서를 포착할 여지가 있다

고위험 경로별 cue-robustness 등급 라벨

RAG 파이프라인이라면 검색된 문서 컨텍스트와 시스템 프롬프트를 함께 cue 후보로 보고 1회성 가산 모델 적합으로 경로의 baseline 조종 폭을 측정한다. 등급이 낮은(취약한) 경로에만 무거운 canonicalization과 paraphrase 앙상블을 적용하고, 강건한 경로는 기존 파이프라인을 유지해 지연시간을 보존한다. 논문 Appendix B에서 주변 프롬프트를 paraphrase해도 상대적 cue 효과가 남는다고 보고했으므로 단일 방어에 의존하지 않는 분산 방어를 권장하며, 각 방어의 잔여 조종 폭을 직접 실측해 효과를 검증한다. 등급은 모델 업데이트마다 재측정해 강건성 드리프트를 추적한다.

적용 지점 — RAG 컨텍스트 결합 단계 및 전처리 파이프라인

기대 효과 — 논문의 가산 적합은 held-out 분산의 중앙값 기준 R²=0.75를 달성해, 적은 표본으로도 경로별 취약도를 신뢰성 있게 추정할 수 있음을 시사한다. 이를 등급화하면 모든 경로에 무거운 방어를 일률 적용하는 것보다 지연 비용을 줄이면서 취약 경로만 강화할 수 있다

단계별 도입 로드맵

원문 PDF: 2026-08-19-model-hypnosis-strong-control-of-ai-via-additive-subliminal-effects.pdf