같은 증상을 물어도 호르몬을 먼저 적었는지 수면을 먼저 적었는지에 따라 ChatGPT의 진단이 갈렸다는 실험이, 6,100만 달러 배상 판결 사건과 함께 제기됐다.
https://www.youtube.com/watch?v=G6iH20uiK2c
프롬프트 순서가 만든 6,100만 달러
유튜버 케이시 심슨(Casey Simpson)은 ChatGPT를 사용자가 먼저 꺼낸 가설을 그대로 따라 부르는 ‘모킹버드’(mockingbird, 남의 소리를 흉내 내는 흉내지빠귀)로 규정했다. 근거로 든 Harvard Business Review 연구는 7개 주요 LLM(대규모 언어모델, 문장을 확률로 이어 붙여 답을 만드는 모델)을 15,000회 실험해, 응답을 가르는 단일 최대 변수가 프롬프트에 먼저 등장한 내용이었으며 ’think harder’ 지시는 0% 변화만 만들었다고 밝혔다. 휴스턴 Watson Grinding 소송에서는 방어 측 변호사가 30페이지 보고서의 85~90%를 ChatGPT로 채운 사실이 채팅 로그 350페이지와 함께 법정에 공개되며 6,100만 달러 배상 판결로 이어졌다.
모킹버드가 답을 정하는 방식
- 프롬프트에 먼저 등장한 가설이 답변을 결정한다 — Harvard Business Review는 7개 주요 LLM·15,000회 실험에서 응답을 가르는 단일 최대 변수가 ‘먼저 나온 내용’이었다고 밝혔다.
- 사고 강도를 요구하는 지시는 결과를 바꾸지 못했다 — 같은 실험에서 ’think harder’ 문구가 만든 변화는 0%였다.
- ‘I believe’(제 생각에는)를 붙이면 모델이 자기 지식을 억누른다 — 2025년 연구가 확인한 억제 효과로, 사용자의 확신 표현이 모델 쪽 반론을 지운다.
- 동일 증상에 호르몬·식단·수면 가설을 각각 먼저 제시하자 ChatGPT는 각각 다른 진단을 내놨다 — 바뀐 것은 증상이 아니라 질문의 첫 줄뿐이었다.
- 휴스턴 사건 로그에는 ‘And that concludes our defense’처럼 보고서에 남아서는 안 될 환각 문구까지 그대로 실려 있었다.
지시어가 듣지 않는 이유
많은 사용자가 답이 미덥지 않을 때 ‘더 깊게 생각해’, ‘전문가처럼 답해’, ‘틀리지 마’를 덧붙인다. 15,000회 실험이 겨눈 지점이 정확히 여기다. 이런 문구는 모델에게 새 정보를 주지 않는다. 판단 재료가 늘지 않은 상태에서 태도만 요구하면, 모델은 이미 붙잡은 방향을 더 정중하고 더 단호한 문장으로 다시 말한다. 답의 확신도만 올라가고 내용은 그대로 남는 구조다.
반대로 첫 줄에 넣은 가설은 재료를 바꾼다. ‘호르몬 문제 같은데 이 증상이 맞나요’라고 물으면 모델은 호르몬 쪽 문헌과 표현을 우선 끌어온다. 같은 증상을 ‘수면 부족 같은데’로 시작하면 수면 쪽 설명이 앞으로 나온다. 모델이 거짓말을 하는 게 아니라, 질문이 이미 답의 절반을 적어 넣은 셈이다.
‘I believe’ 억제 효과는 이 구조를 더 나쁘게 만든다. 사용자가 확신을 표시할수록 모델은 반대 근거를 꺼내기를 꺼린다. 사람이 가장 확신할 때 모델의 견제가 가장 약해진다는 뜻이고, 이는 확증 편향과 정확히 같은 방향으로 작동한다. 검색엔진은 내 생각과 어긋나는 링크를 그대로 보여주지만, 대화형 모델은 어긋나는 근거를 문장에서 빼버릴 수 있다.
실무에서 이 차이가 드러나는 순간은 대개 늦다. 답변이 문법적으로 매끄럽고 형식이 갖춰져 있으면 사람은 검토를 건너뛴다. 오류가 문장 품질이 아니라 전제에 들어 있기 때문에, 읽기만 해서는 걸러지지 않는다.
법정에서 드러난 것
휴스턴 Watson Grinding 사건에서 무너진 것은 변호 논리보다 문서의 출처였다. 방어 측 30페이지 보고서 가운데 85~90%가 ChatGPT 산출물이었고, 반대편은 그 사실을 채팅 로그 350페이지로 입증했다. 결과는 6,100만 달러 배상 판결이었다.
로그가 공개되면서 드러난 ‘And that concludes our defense’ 문구는 상징적이다. 모델이 변론문 형식을 흉내 내다 만들어 낸 마무리 문장이 편집 없이 그대로 문서에 남았다. 내용 검증 이전에, 최소한의 통독조차 이뤄지지 않았다는 증거로 읽힌다.
여기서 실무자가 가져갈 교훈은 ‘AI를 쓰지 말라’가 아니다. AI를 쓴 흔적은 남고, 그 흔적은 상대방이 꺼낼 수 있는 증거가 된다는 점이다. 초안 작성에 모델을 쓰는 일과, 검증 없이 제출하는 일은 완전히 다른 리스크다. 법률·의료·재무처럼 결과가 되돌려지지 않는 영역에서는 이 경계가 곧 배상 규모가 된다.
진료실 버전의 같은 오류
케이시는 지인의 증상을 소재로 같은 실험을 재현한다. 증상 목록은 고정한 채 첫 줄만 호르몬·식단·수면으로 바꿔 넣자, ChatGPT는 세 번 모두 다른 진단을 자신 있게 제시했다. 세 답변 모두 근거를 붙였고, 세 답변 모두 설득력이 있었다.
이 실험이 무서운 이유는 실패가 눈에 띄지 않기 때문이다. 답이 하나만 보이면 사용자는 그것을 결론으로 받아들인다. 세 번을 다르게 물어본 사람만 답이 흔들린다는 사실을 안다. 즉 편향은 모델 안에 숨어 있는 게 아니라, 질문을 한 번만 던지는 습관 안에 숨어 있다.
그래서 대응도 모델 교체가 아니라 질문 설계 쪽에 있다. 다음 구역의 절차가 그 부분을 다룬다.
역방향 가정 테스트 3단계
단계 1 — 가설을 지운 중립 질문
첫 질문에서 내 짐작을 완전히 뺀다. 병명, 원인, 법리 해석, 투자 판단 같은 단어를 넣지 않고 관찰 사실만 나열한다.
다음은 관찰된 사실만 적은 것입니다. 원인을 단정하지 말고,
가능한 설명을 서로 겹치지 않게 5개 제시하고 각각의 반증 방법을 붙여 주세요.
사실: (증상/사건/수치를 시간 순서대로 나열)
‘반증 방법을 붙여 달라’가 핵심이다. 설명만 요구하면 모델은 그럴듯한 이야기를 만들지만, 반증 조건을 함께 요구하면 확인 가능한 항목이 함께 나온다. 이 출력이 이후 단계의 기준선 역할을 한다.
단계 2 — 반대되는 가설로 재질문
단계 1에서 나온 설명 중 서로 가장 멀리 떨어진 3개를 골라, 각각을 첫 줄에 놓고 같은 사실을 다시 붙여 세 번 질문한다. 새 대화창에서 하나씩 분리해 던져야 앞 대화의 맥락이 섞이지 않는다.
[대화 1] A가 원인이라고 봅니다. 아래 사실과 맞나요? (사실 붙여넣기)
[대화 2] B가 원인이라고 봅니다. 아래 사실과 맞나요? (동일 사실)
[대화 3] C가 원인이라고 봅니다. 아래 사실과 맞나요? (동일 사실)
세 답이 서로 다르면 모델은 사실을 판독한 게 아니라 내 첫 줄을 되돌려 준 것이다. 세 답이 같은 결론으로 수렴하면 그 결론은 최소한 순서 편향은 통과한 셈이다. 이 대조가 ‘역방향 가정 테스트’의 전부이고, 추가 도구 없이 대화창 세 개만 있으면 된다.
단계 3 — 갈린 지점만 1차 소스로 확인
세 답변을 나란히 놓고 일치하는 부분과 갈리는 부분을 나눈다. 검증 비용은 갈린 부분에만 쓴다. 법령이면 조문 원문, 의료면 진료와 검사, 재무면 공시 원문이 확인 대상이다. 모델에게 출처를 물어서 받은 링크는 확인이 아니라 확인 대상이라는 점을 기억해야 한다.
이 3단계를 정착시키면 질문당 시간은 3배 넘게 든다. 대신 되돌릴 수 없는 결정에만 적용하면 부담은 크지 않다. 초안 작성, 문장 다듬기, 코드 스캐폴딩처럼 틀려도 즉시 드러나는 작업에는 굳이 쓸 필요가 없다.
질문 방식별 답변 차이
아래 표는 영상이 인용한 실험 결과를 질문 방식별로 정리한 것이다. 근거 열이 비어 있지 않은 항목만 담았다.
| 질문 방식 | 답을 결정하는 요소 | 제시된 근거 | 관찰된 효과 |
|---|---|---|---|
| 가설을 첫 줄에 넣기 | 먼저 등장한 가설 | HBR 7개 LLM·15,000회 실험 | 답변을 가르는 최대 변수 |
| ’think harder’ 덧붙이기 | 없음 | 동일 실험 | 변화 0% |
| ‘I believe’ 덧붙이기 | 사용자 확신 표현 | 2025년 연구 | 모델 자체 지식 억제 |
| 같은 사실, 가설만 교체 | 교체된 가설 | 의료 증상 재현 실험 | 호르몬·식단·수면별로 진단이 달라짐 |
표를 한 줄로 줄이면, 답의 품질을 좌우한 것은 모델의 성능이 아니라 사용자가 첫 줄에 무엇을 적었는가였다. 성능이 더 좋은 모델로 갈아탄다고 해결되는 문제가 아니라는 뜻이고, 실제로 실험 대상 7개 모델 전부에서 같은 경향이 관찰됐다.
영상이 제시한 재무 수치와 확인 경로
영상 후반부는 OpenAI 재무와 시장 전망으로 넘어간다. 이 수치들은 화자 주장이며 이 글에서 독립적으로 확인하지 못했다. 그대로 인용하는 대신 확인 경로와 함께 표로 둔다.
| 항목 | 영상 주장 | 확인 경로 | 확인 전 취급 |
|---|---|---|---|
| 수익성 | 2026년 1분기 매출 1달러당 2달러 손실, 연 140억 달러 손실 | 상장 시 SEC 공시, 투자자 대상 실적 자료 | 미확인 주장 |
| 시장 점유 | 트래픽 점유율 87%→65% | 트래픽 측정 업체 원자료, 측정 기준 명시 여부 | 측정 기준 확인 필요 |
| 흑자 전망 | 2030년 흑자 시점에도 누적 2,000억 달러 적자 | 회사 공개 전망치 원문 | 장기 추정치 |
| 자금 조달 | 1,100억 달러 규모 IPO, 역대 최대의 3배 | 증권신고서 제출 여부 | 계획 단계 |
| 시장 경고 | JP Morgan의 닷컴 버블 비교, 헤지펀드 사상 최대 나스닥 숏 | 해당 리서치 보고서 원문, 포지션 집계 자료 | 인용 원문 확인 필요 |
영상이 반복해서 강조하는 계산은 단순하다. AI 업계 전체의 투자 약속이 2조 달러 규모인데 연매출은 500억 달러 수준이라는 대비다. 이 격차가 사실이라면 어떤 기술 개선으로도 단기간에 메워지지 않는다는 게 화자의 결론이고, 그래서 정점에서 상장이 몰린다고 본다. 다만 두 숫자 모두 집계 범위에 따라 크게 달라지는 값이라, 원 출처의 정의를 확인하지 않은 상태로는 결론까지 그대로 옮기기 어렵다.
지금 할 두 가지
첫째, 결정용 산출물에 3단계 게이트를 건다. 법률·의료·재무처럼 되돌릴 수 없는 문서에는 (1) 모델 출력의 1차 소스 확인, (2) 자격 있는 전문가의 검토, (3) AI 사용 범위 명시를 통과해야 제출하는 규칙을 둔다. 휴스턴 사건에서 문제가 된 지점이 정확히 이 세 가지였다. 특히 (3)은 나중에 로그가 공개될 때 방어선이 된다. 조직 단위라면 제출 체크리스트에 한 줄로 박아 두는 편이 개인 의지에 맡기는 것보다 확실하다.
둘째, 내 노후 자금의 AI 비중을 직접 확인한다. 미국 401(k)나 국내 인덱스 펀드 모두 대형 기술주 비중이 높은 상품이 많고, 개인은 개별 종목을 고르지 않아도 지수 편입으로 노출된다. 운용보고서에서 상위 보유 종목과 섹터 비중을 확인하는 데는 몇 분이면 된다. 다만 영상이 말하는 ‘여름~가을 대규모 폭락’ 같은 시점 전망은 검증되지 않은 예측이며, 이 글도 특정 시점의 하락을 전제하지 않는다. 확인은 사실 파악이고, 매도·매수 판단은 별개다.
영상의 마무리 조언 — 단기 손실은 피하기 어렵지만 S&P 500의 120년 회복 패턴상 장기 보유가 현실적이라는 부분 — 역시 과거 패턴에 근거한 일반론이다. 개인 상황에 따라 결론이 달라지므로 투자 권유로 읽지 않는 편이 안전하다.
핵심 세 줄
7개 모델을 15,000회 돌린 실험에서 답을 가른 것은 모델 성능이 아니라 프롬프트 첫 줄이었고, ’think harder’는 0% 변화만 만들었다. 휴스턴 소송의 6,100만 달러 판결은 검증 없이 제출된 AI 초안이 어떤 비용으로 돌아오는지 보여준다. 대화창 세 개로 같은 질문을 반대 가설로 다시 던지는 습관 하나가, 지금 당장 적용 가능한 가장 값싼 방어책이다.