AI 기업들이 영국·아일랜드·뉴질랜드 중고서점에 테마 없는 대량 주문을 넣기 시작한 건, 무료 웹 텍스트로 성능을 끌어올리던 시대가 끝났다는 신호다.
주문에 테마가 없다는 점이 핵심이다. 특정 분야를 모으는 수집가라면 목록이 한쪽으로 쏠리지만, 재고를 통째로 쓸어가는 주문은 내용이 아니라 글자 수를 산다는 뜻이다. 기술 비평가 데이비드 제라드는 이 흐름을 학습 파이프라인의 주력이던 Common Crawl(웹을 통째로 긁어 공개하는 크롤 데이터셋)이 이미 소진된 결과로 읽는다.
원본 영상: https://www.youtube.com/watch?v=1VcLoNTXrGo
데이터 고갈 신호 5가지
- 챗봇 품질은 투입 데이터량에 정비례하고, 약간의 개선에도 기하급수적 데이터가 필요하다 — 그래서 웹 텍스트만으로는 다음 단계가 나오지 않는다.
- Anthropic의 Project Panama는 책 척추를 잘라내 낱장으로 만든 뒤 스캔하고 원본을 폐기하는 파괴적 스캔이다. 2025년 6월 미국 판결은 종이책을 구매한 상태에서의 학습을 공정 이용으로 인정했다.
- 매입 목록에는 뉴질랜드 향토 역사서처럼 세계 어디에도 다른 사본이 없는 책이 섞인다. 스캔한 쪽에 보존 의무는 없다.
- 챗봇 출력으로 다시 학습시키면 결과가 ‘평균의 평균’으로 수렴하며 무너진다. 제라드는 GPT-5가 모든 답변에 ‘그렘린’을 끼워넣은 현상을 모델 붕괴의 표면화로 본다.
- ISBN DB는 2022년 이전 도서를 ‘챗봇 텍스트가 섞이지 않은 깨끗한 학습 데이터’로 판매하다 404 Media에 적발됐다. 오염되지 않은 텍스트에 값이 붙었다는 뜻이다.
2022년이라는 기준선이 특히 의미심장하다. 생성형 챗봇이 대중화된 시점 이후의 웹 텍스트는 사람이 쓴 글과 기계가 쓴 글이 뒤섞여 있고, 학습용으로는 그 구분이 곧 품질이다. 데이터 판매업자가 연도를 상품 설명에 적어 넣는 순간, 웹은 더 이상 깨끗한 광산이 아니라는 사실이 시장 가격에 반영된 셈이다.
크롤러 차단 3단계
제라드는 AI 크롤러가 robots.txt(크롤러에게 접근 범위를 알려주는 텍스트 파일)를 무시하고 봇넷처럼 사이트를 반복해서 때린다고 지적한다. 개인 사이트 운영자가 실제로 밟을 수 있는 순서는 이렇다.
1단계 — robots.txt에 명시적 차단을 넣는다. 사이트 루트에 아래 내용을 추가한다. 규칙을 지키는 크롤러는 여기서 걸러진다.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: CCBot
Disallow: /
2단계 — 서버단에서 같은 User-Agent를 막는다. robots.txt는 요청 자체를 차단하지 못하므로 웹서버 설정에서 한 번 더 끊는다. Apache라면 .htaccess에 User-Agent 조건으로 403을 반환하고, Nginx라면 $http_user_agent 조건으로 444를 돌려주는 식이다. IOCane, Anubis, fail2ban 같은 오픈소스 봇 차단 도구를 앞단에 두면 UA를 위장하는 트래픽까지 잡을 여지가 생긴다.
3단계 — 액세스 로그로 효과를 확인한다. 차단 적용 전후로 해당 User-Agent의 요청 수와 전체 대역폭을 비교한다. 숫자가 줄지 않으면 크롤러가 UA를 바꿔 오는 중이므로, IP 대역이나 요청 빈도 기준으로 규칙을 다시 짠다. 1·2단계만 하고 로그를 안 보면 막았다고 착각한 채 트래픽 비용만 계속 낸다.
창작물을 올리는 사이트라면 ai.txt, noai 메타 태그 같은 학습 거부 표시도 함께 걸어 두는 편이 낫다. 강제력은 약하지만, 나중에 침해를 발견했을 때 ‘거부 의사를 명시했다’는 기록으로 남는다.
세 가지 데이터 원천 비교
| 비교 항목 | 웹 크롤 텍스트 | 실물 도서 스캔 | AI 생성 텍스트 |
|---|---|---|---|
| 확보 비용 | 사실상 무료, 공개 배포 | 책값 + 물류 + 스캔 인력 | 거의 0 |
| 남은 물량 | 제라드의 진단으로는 소진 | 유한, 중고 재고 범위 내 | 무한 |
| 법적 위치 | robots.txt 무시 논란 진행 중 | 2025년 6월 판결로 구매 후 학습은 공정 이용 | 출처 추적이 어려움 |
| 원본 보존 | 원본 웹페이지는 남음 | 척추 절단 후 폐기, 사본 없는 책은 소멸 | 해당 없음 |
| 품질 리스크 | 챗봇 출력 혼입이 진행 중 | 2022년 이전 도서는 혼입 없음 | 모델 붕괴 |
표를 세로로 읽으면 왜 종이책 쪽으로 몰리는지가 드러난다. 실물 도서는 비싸고 유한하지만, 법적으로 정리된 경로가 하나 생겼고 텍스트가 오염되지 않았다. 대신 비용이 물리 세계에 있다. 웹 크롤은 공짜였고, AI 생성 텍스트는 더 싸지만 쓸수록 모델을 망가뜨린다. 남은 선택지가 가장 비싼 칸 하나뿐이라는 구조가 이번 매입 사태의 배경이다.
대가는 데이터 시장 밖에서 치러진다. 뉴질랜드 지역 향토사처럼 한 권만 남은 책이 스캔 후 폐기되면 그 지역의 기록이 사라진다. 판결은 개별 기업의 학습 행위를 정당화했지만, 유일본이 없어지는 문제까지 다루지는 않는다.
지금 할 일 두 가지
- 사이트를 운영한다면 이번 주에 크롤러 차단을 걸고 로그로 확인한다. 위 3단계를 그대로 밟으면 된다. 트래픽 비용과 서버 부하가 즉시 줄어드는지가 유일한 판정 기준이다.
- AI로 만든 결과물을 공개하기 전 표기 절차를 정한다. Anthropic이 EU AI Act(유럽연합의 AI 규제법) 대응으로 도입한 워터마킹은, 생성물을 그대로 올린 사용자가 들통나는 상황을 만들었다. 회사나 학교가 AI 사용 표기를 요구한다면 표기 형식을 미리 표준화해 두는 편이 안전하다.
여기서부터는 추측이다. 제라드는 AI 기업들이 수익 경로 없이 투자금과 연금 자금을 태우며 버블을 유지하고 있고, 펀딩이 끊기면 회사 자체가 파산해 책임 추궁조차 어려워질 것으로 본다. 이 전망이 맞는지는 아직 확인되지 않았지만, 대비 비용은 낮다. 핵심 업무 흐름을 특정 AI 서비스 한 곳에 묶어 두지 말고, 데이터와 산출물을 내 저장소에 남기는 습관이면 충분하다.
세 줄 결론
무료 웹 텍스트가 바닥나자 AI 기업들은 중고서점 재고와 파괴적 스캔으로 옮겨갔고, 2025년 6월 판결이 그 경로에 법적 근거를 하나 만들어 줬다. 남은 대안인 AI 생성 텍스트는 모델 붕괴를 부르기 때문에 대체재가 되지 못하며, 그래서 압력은 계속 실물 자료와 사이트 트래픽 쪽으로 향한다. 사이트 운영자와 창작자가 지금 통제할 수 있는 건 크롤러 차단 규칙과 산출물 표기 절차, 이 두 가지다.
원문 출처
원문: 영상 원문 보기 — AI Bubble: ‘AI companies have run out of internet.’ | David Gerard, The Tech Report