AI가 쓴 글에 워터마크를 다는 작업을 매 단어마다 '동전 던지기'를 하는 방식으로 바꿔서, 속도 저하를 거의 없앤 연구

AI가 쓴 글에 워터마크를 다는 작업을 매 단어마다 ‘동전 던지기’를 하는 방식으로 바꿔서, 속도 저하를 거의 없앤 연구

무엇이 문제였나 — 기존 워터마킹은 매번 10만 개가 넘는 단어 목록을 새로 섞어야 해서 매우 느렸음 어떻게 풀었나 — 매 단어마다 워터마크 목록에 넣을지 말지를 독립적인 동전 던지기처럼 결정하도록 방식을 바꿈 그래서 뭐가 좋아졌나 — 기존 방식보다 6000배 빠르면서도 워터마크를 찾아내는 능력은 똑같이 유지됨

빙고 추첨을 할 때 매번 번호판을 새로 섞는 대신, 각 번호를 뽑을 때마다 동전을 던져 ‘당첨’인지 결정하는 것과 같다. 최종 결과는 통계적으로 똑같지만 컴퓨터가 계산하기에는 압도적으로 빠르다.

논문 정보

Simone Ceppi, Ignacio Sanchez · European Commission, Joint Research Centre · arXiv preprint arXiv:2609.03844 · 2026

왜 중요한가

EU AI Act처럼 AI가 만든 텍스트에 표시를 의무화하는 규제가 늘어나고 있지만, 기존 기술은 텍스트 생성 속도를 크게 떨어뜨려 실제 서비스에 쓰기 어려웠다. 이 연구는 성능 저하를 1% 미만으로 줄여 이 문제를 해결했다.

핵심 지표

어떻게 동작하나

SBW는 매 토큰 생성 시 어휘 전체를 셔플하는 KGW의 글로벌 연산을, 독립 베르누이 시험으로 그린 리스트를 결정하는 로컬 결정으로 대체한다. 카운터 기반 난수 생성기(Philox 4x32-10)를 사용해 각 토큰의 ‘초록 여부’를 O(1)에 판정하고, 이를 GPU에서 단일 fused 커널로 실행한다. z-score 검출 통계량이 H0 하에서 N(0,1)을 따르고 W ~ Binomial(T, γ)임을 이론적으로 증명해 KGW와 통계적 동치성을 확립했다. 추가로 permutation 테이블 대신 Jenkins 정수 해시를 써 GPU 캐시 효율을 높이고, 풀 어휘(full-vocabulary) self-salt 워터마킹을 실용적으로 만들었으며, 텐서 및 파이프라인 병렬 처리를 사용하는 분산 추론 환경과도 구조적으로 호환된다.

핵심 수식:

G_t = { v ∈ V : CBRNG(v, r_t) < γ }
l'_{t,v} = l_{t,v} + δ · 𝟙[v ∈ G_t]
z = (W − Tγ) / √(Tγ(1−γ))  ~  N(0, 1)

CBRNG(v, r_t) < γ: 매 토큰마다 카운터 기반 RNG로 그린 리스트 소속을 독립 결정. l’ = l + δ: 그린 토큰의 로짓에 δ만큼 바이어스 추가. z-score: 그린 토큰 수 W로 워터마크 존재 여부 검정, H0 하에서 표준정규분포를 따름.

한계와 주의할 점

• 메인 실험이 단일 GPU(RTX 3090)와 단일 모델(Qwen3-8B)에 한정됨. Falcon-7B 추가 검증은 Appendix F에 있으나 모델 패밀리 전반 일반화는 미검증.
• 적응형 워터마크 제거 전략과 스푸핑 공격 평가는 수행되지 않음. 기존 KGW 분석에 의존.
• torch.compile로 자동 생성된 Triton 커널을 사용해, hand-tuned CUDA 커널 대비 특히 소형 배치에서 추가 최적화 여지가 있음.
• Self-salt 모드에서 Jenkins 해시 + δ ≥ 5 조합은 퍼플렉시티가 KGW 대비 4점 이상 증가 (다만 다양성 동시 0.624로 KGW의 0.403보다 높음).
• 텐서 병렬 / 파이프라인 병렬 환경에서의 실제 배포 검증은 이루어지지 않음 (이론적 호환성만 주장).
• 짧은 텍스트: 토큰 수가 적으면 z-score 검정력이 떨어져 오검출/미검출 위험 증가. 논문도 짧은 텍스트 검출 금지를 명시적으로 권고.
• 공격 회피: 적응형 공격자가 KGW를 우회하는 방식(Diaa et al., 2025; Rastogi and Pruthi, 2024)으로 SBW도 우회 가능. KGW와 동일한 본질적 한계 상속.
• 해시 특성에 따른 품질 저하: self-salt 모드에서 Jenkins 해시는 δ ≥ 5 조합에서 다양성은 보존하지만 퍼플렉시티(PPL) 수치가 KGW 대비 더 나빠짐 (반대로 KGW 방식은 동일 토큰 반복 경향이 증가해 다양성이 훼손됨).
• 높은 엔트로피 컨텍스트: 풀 어휘 self-salt는 GPU 연산을 saturation시켜 배치 32~64 이후엔 일정한 % 오버헤드로 수렴. 더 큰 모델에서는 saturation 임계값 상승.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

추론 시점 후처리를 단일 fused 커널로 흡수

추론 서버의 logits processor 단계를 재설계. 안전 분류, 반복 패널티, 도메인 제한 등 매 생성 단계마다 일어나는 모든 모듈을 in-place 변형 + CBRNG 임계값 검사 패턴으로 통합. 중간 텐서 할당이 사라져 KV-cache와 메모리 경쟁 해소. 논문의 5.1절 single-kernel 아키텍처가 직접적인 청사진. 기존 모듈을 모두 torch.compile로 한 그래프에 묶어 launch overhead 제거.

적용 지점 — 추론 서버의 logits processor 단계, 매 토큰 후처리 모듈

기대 효과 — 모든 배치 크기에서 워터마킹 오버헤드 <1% (Qwen2-7B, RTX 3090 측정값)

토큰 해시 테이블을 GPU 네이티브 Jenkins 해시로 교체

임베딩 캐시 키, 검색 중복 제거 해시, 결정적 A/B 테스트 할당처럼 토큰 ID를 해싱하는 모든 시스템에 적용. permutation 테이블(메모리 lookup)을 Bob Jenkins 정수 해시(ALU 명령)로 교체해 GPU L1/L2 캐시 thrashing 제거. 동시에 더 넓은 출력 범위로 분포 균일성 개선. 논문 4.5절 hash function 분석이 직접적 근거.

적용 지점 — 토큰 ID 기반 해시가 필요한 캐시 키, 검색 인덱스, 결정적 샘플링

기대 효과 — Null calibration 1.8× 개선 (KS 통계량), 캐시 미스 감소로 처리량 회복

풀 셔플 대신 베르누이 부분집합 마킹으로 전환

카나리 토큰 주입, 기능 플래그 마킹, 샘플 다양화, 추적 메타데이터 임베딩처럼 큰 풀에서 일부를 골라내야 하는 모든 작업에 적용. CBRNG 임계값 검사 + in-place 마킹 패턴으로 GPU에서 fused 가능. 풀 어휘 워터마킹에서 KGW 대비 6000× 속도 향상이 실증됨. 논문 2.2절의 그린 리스트 구성 방법이 직접적 청사진.

적용 지점 — 큰 후보 풀에서 부분집합을 결정적으로 선택/마킹하는 모든 단계

기대 효과 — 전 어휘 처리 시 KGW 대비 6000×, SynthID 대비 2× 속도 향상

단계별 도입 로드맵

원문 PDF: 2026-09-04-flip-don-t-shuffle-watermarking-llms-at-the-speed-of-inference.pdf