요약을 평가하는 AI가 점수를 내는 과정을 층별로 살펴본 연구

요약을 평가하는 AI가 점수를 내는 과정을 층별로 살펴본 연구

무엇이 문제였나 — 연구진은 AI 평가자가 점수를 내는 내부 과정이 어떻게 진행되는지 조사했다. 어떻게 풀었나 — 요약에 오류를 넣고, 모델 안의 신호가 어느 층에서 처리되는지 추적했다. 그래서 뭐가 좋아졌나 — 두 평가자에서는 아래쪽 층이 오류 정보를 전달하고 위쪽 층이 점수를 정하는 흐름이 관찰됐다.

자동 채점기를 여러 단계로 나누어 살펴보는 것과 비슷하다. 앞 단계에서 요약의 오류 정보를 모으고, 뒤 단계에서 그 정보를 이용해 점수를 정하는 모습이 관찰됐다.

논문 정보

Himil Vasava, Ming Jiang · University of Wisconsin-Madison · arXiv preprint (arXiv:2609.01604v1) · 2026

왜 중요한가

평가자가 오류를 처리하는 내부 과정을 알면 어떤 상황에서 점수가 달라지는지 더 잘 살펴볼 수 있다. 다만 이 연구만으로 평가자를 더 믿을 수 있게 만들거나 학습 비용을 줄일 수 있다고 입증한 것은 아니다.

핵심 지표

어떻게 동작하나

CNN/DailyMail의 요약에 가독성 오류와 사실성 오류를 포함한 8가지 공격을 각각 하나씩 적용하고, 깨끗한 입력과 변조된 입력을 비교했다. GPT-4o로 변조 예시를 만들고 변경된 토큰 위치를 기록했으며, CNN/DM에서는 공격 유형별 200쌍을 사용해 세 번의 시드로 실험했다. Themis(Llama-3-8B)와 Prometheus-7B-v2.0(Mistral-7B)에 윈도 모드·마지막 위치 인과추적, 로짓 렌즈, 어텐션 헤드 제거를 적용했다. 점수 변화가 너무 작은 입력은 인과 효과 계산이 불안정해 주 분석에서 제외했다. 별도로 XSum에서 분석을 반복했고, Themis의 기반 모델 Llama-3-8B에도 같은 분석을 적용해 파인튜닝 효과를 비교했다. 두 평가자에서는 15층 아래의 어텐션이 오류 정보를 비교하고 마지막 입력 위치로 전달하는 패턴이 관찰됐으며, 위쪽 MLP가 신호를 통합했다. 결정 층은 Themis L26, Prometheus L25였다. 기반 Llama-3-8B는 결정 층 L28을 보였고, 아래 L15 MLP 기여가 Themis보다 컸다. Mistral-7B 기반 모델 대조군은 수행하지 않았다.

핵심 수식:

effect = (X_patched - X_corrupt) / (X_clean - X_corrupt)

X는 마지막 위치에서 측정한 출력값이다. 마지막 위치 추적과 헤드 제거에서는 깨끗한 입력과 변조 입력의 평점 토큰 로그잇 차이를 사용했고, 윈도 모드 추적에서는 1~5점 분포의 기대 평점을 사용했다. 1.0은 깨끗한 입력의 점수 행동을 회복한 정도, 0.0은 손대지 않은 변조 입력과 같은 정도를 뜻한다.

한계와 주의할 점

• 평가자는 Themis와 Prometheus 두 개뿐이며, 모델 계열 전반에 대한 결론으로 확대하기 어렵다.
• 실험은 요약 평가와 영어 데이터에 한정됐다. 대화·이야기 평가, 더 큰 모델, 다국어 모델은 검증하지 않았다.
• 모든 실험은 오류 한 종류와 강도 k=1을 사용했다. 강도가 더 높거나 여러 오류가 섞인 경우는 분석하지 않았다.
• 점수 변화가 기준보다 작은 입력은 주 분석에서 제외했다. 평가자가 오류를 놓치는 사례는 회로 분석에 포함되지 않았다.
• 오류 변조는 GPT-4o로 생성했으므로 생성 모델의 문체 편향이 결과에 영향을 주었을 가능성을 완전히 배제할 수 없다.
• 로짓 렌즈는 중간 층의 점수 분포를 근사한다. 저자들은 결정 전 확률의 절대값을 보정된 수치가 아닌 정성적 지표로 해석한다.
• 평가자가 오류를 감지하지 못해 깨끗한 입력과 변조 입력의 점수 차이가 거의 없는 경우는 주 분석에서 빠진다.
• 단일 오류와 강도 k=1만 다뤄 여러 오류가 함께 나타나거나 강도가 높은 상황에서의 동작은 알 수 없다.
• GPT-4o가 만든 변조의 특징이 모델의 반응에 영향을 줄 가능성이 있다.
• 연구 결과만으로 특정 헤드 밴드가 비활성일 때 평가가 표면적 패턴에 의존한다고 판정할 수는 없다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

관찰된 파인튜닝 차이를 직접 검증하는 후속 실험

논문은 기반 Llama-3-8B와 Themis를 비교해 아래 L15 MLP 효과 평균이 0.056에서 0.010으로 감소하고 결정 층이 L28에서 L26으로 이동했다고 보고했다. 이 두 변화만 적용해 평가자 행동을 재현할 수 있다는 결론은 아직 실험으로 확인되지 않았다. 후속 연구에서 각 변화에 개입하고 평점 행동에 미치는 영향을 측정할 수 있다.

적용 지점 — LLM 평가자 파인튜닝 연구

기대 효과 — 두 관찰된 변화가 평가자 행동에 어떤 역할을 하는지 검증할 근거를 제공한다. 학습 비용 감소는 아직 확인되지 않았다.

L10-L11 어텐션 헤드 밴드의 재현성 검증

Themis에서 어텐션 헤드 제거 실험상 활성 헤드의 30.2% ± 0.9%가 L10-L11에 위치했다. 이는 실험에서 관찰된 분포이며, 운영 중 평가를 판정하는 기준으로 검증된 수치는 아니다. 다른 표본, 프롬프트, 평가자에서 같은 패턴이 재현되는지 확인할 수 있다.

적용 지점 — LLM 평가자 회로 분석

기대 효과 — 관찰된 헤드 분포가 입력과 모델이 달라져도 유지되는지 확인할 수 있다.

데이터셋과 프롬프트를 바꿔 결정 층 재검증

논문은 CNN/DM과 XSum에서 Themis L26, Prometheus L25의 결정 층을 보고했다. 두 데이터셋의 결과만으로 모든 데이터와 프롬프트에서 결정 층이 보존된다고 볼 수는 없다. 다양한 데이터셋과 평가 프롬프트로 로짓 렌즈 분석을 반복하는 후속 연구가 가능하다.

적용 지점 — LLM 평가자 내부 동작 검증

기대 효과 — 결정 층 관찰의 적용 범위와 한계를 더 정확히 확인할 수 있다.

단계별 도입 로드맵

원문 PDF: 2026-09-03-beyond-scores-understanding-llm-as-a-judge-mechanisms-in-summarization-e.pdf