같은 번역 모델에게 '그냥 해', '방언 강조해서 해', '영어 거쳐서 해' 이렇게 세 가지로 시켜서 어디서 결정이 흔들리는지 보는 연구다.

같은 번역 모델에게 ‘그냥 해’, ‘방언 강조해서 해’, ‘영어 거쳐서 해’ 이렇게 세 가지로 시켜서 어디서 결정이 흔들리는지 보는 연구다.

무엇이 문제였나 — 신경망 번역은 한 문장을 넣으면 한 결과만 보여줘서 모델이 어떤 선택지를 고민했는지 알 수 없었다. 어떻게 풀었나 — 같은 모델을 세 가지 경로(직접/방언 안정화/영어 우회)로 돌려보고, 결과 차이가 어디서 생기는지 행동 지표로 측정했다. 그래서 뭐가 좋아졌나 — 경량 학습만으로도 방언 표현이 두 배 가까이 늘고, 문장 길이 들쭉날쭉한 문제도 크게 줄었다.

한 사람에게 같은 외국어를 ‘그냥 번역해봐’, ‘구어체로 번역해’, ‘영어로 한 번 옮긴 뒤 다듬어’ 이렇게 세 가지 방법으로 시키는 것과 비슷하다. 번역이 어디서 어떻게 달라지는지를 보면 그 사람이 어느 표현에서 확신을 갖고 어디서 망설이는지 드러난다.

논문 정보

Hasan Alkhder, Mohammad Abboush, Igor Tchappi, Ahmet Zengin, Amro Najjar · Sakarya University 등 (교신 저자: Sakarya University, hasan.alkhder2@ogr.sakarya.edu.tr) · arXiv preprint (cs.CL) 2609.04048v1 · 2026

왜 중요한가

저자원 방언처럼 데이터가 부족한 영역에서는 모델이 표준어와 방언 사이에서 불안정하게 흔들리는데, 이 연구는 그 흔들림을 ‘오류’가 아니라 ‘의사결정 신호’로 읽는 새로운 시각을 제시한다. 따라서 번역 점수만으로는 보이지 않는 모델 내부의 결정 구조를 들여다볼 수 있는 해석 가능성 도구로 활용 가치가 있다.

핵심 지표

어떻게 동작하나

다국어 번역 모델을 단일 결정 함수가 아닌 조건부 확률 분포로 보고, 동일한 백본을 세 가지 결정 제약 — A1) 제로샷 직접 번역, A2) 5K 쌍의 1-에폭·학습률 1e-5 경량 안정화, A3) 영어 우회 pivot(Tur→En→Sy) — 하에 실행한다. 각 경로를 ‘번역 에이전트’로 정의하고, ① 방언 마커 빈도 D(y), ② MSA 어휘 중첩도 O(y,S), ③ 길이 비율 L(y) 및 그 분산 σ_L을 계산해 에이전트 간 행동을 정량화한다. 평가는 독립 출처의 5K 대사 문장(TV 더빙 3K + MADAR-Turk 2K)이며 안정화 데이터와 문장 수준에서 완전 분리되어 있고, 부트스트랩 리샘플링으로 결과의 안정성을 확인했다. 평가 코퍼스는 TR/SY/EN/MSA 4개 정렬 표현을 포함해 pivot 중재와 정규화 효과의 구조적 비교를 가능하게 한다.

핵심 수식:

A_i(x) = M(x; C_i) \quad (i \in \{1,2,3\})
D(y) = \frac{1}{|y|} \sum_{t \in y} \mathbb{1}(t \in \mathcal{M})
O(y, S) = \frac{|tokens(y) \cap tokens(S(x))|}{|tokens(S(x))|}
\Delta_{ij} = D_{A_i} - D_{A_j} + O_{A_i} - O_{A_j} + L_{A_i} - L_{A_j}

A_i는 동일 모델 M에 다른 제약 C_i(제로샷/안정화/pivot)를 건 번역 경로(에이전트)이며 아키텍처를 바꾸지 않는다. D(y)는 한 문장 안에서 원어민 검증 방언 마커 사전 M에 든 토큰이 차지하는 비율이고, O(y,S)는 표준 아랍어 참조 S와의 어휘 중첩(정규화 압력 지표)이다. Δ_ij는 두 에이전트의 세 행동 차원(방언 활성·정규화·구조)을 서로 다른 척도이므로 동등 가중으로 더한 누적 변위 점수다.

한계와 주의할 점

• 검증이 단일 언어 쌍(터키어–시리아 아랍어)에 국한되어, 다른 방언 연속체로의 일반화는 입증되지 않았다(논문 §10).
• 안정화 학습이 1 에폭·저학습률로 의도적으로 경량화되어, 본격 적응 시의 구조적 역학은 탐구되지 않았다.
• 행동 지표는 변위(divergence)에 초점을 맞추어 BLEU/COMET 같은 적정성 지표와 직접 비교되지 않아, 방언 활성 증가와 번역 품질 사이의 trade-off가 불명확하다.
• 아랍어 방언의 표기 변동성(비표준 철자)이 어휘 중첩도 계산에 노이즈를 유입할 수 있어 절대값 신뢰도가 낮다(논문 §10).
• 에이전트를 ‘제약된 디코딩 경로’로 정의해 고전적 다중 에이전트 시스템(자율·상호작용 에이전트)과 거리가 있어, 용어 사용에서 혼동 가능성이 있다(논문 §1이 스스로 인정).
• Zero-shot 경로는 σ_L = 2.8761의 가장 높은 분산을 보이며, 표준어와 방언 사이를 오가는 ‘표현 미지정(under-specified)’ 불안정 출력을 만든다.
• Pivot 경로는 감정·구어적 확장을 압축해 길이 비율 0.9354로 떨어뜨리고, 중간 영어 표현을 통한 의미 재해석을 동반할 수 있다(예: Role Reassignment, Blame Shift).
• 안정화 학습 데이터(TV 더빙 + MADAR-Turk)에 대한 과적합 위험이 있어, 미관측 도메인에서는 효과가 미지수다(평가 세트와 분리됐으나 도메인 편향 가능).
• 방언 표기 변동성으로 방언 마커 사전과 토큰 매칭이 불완전할 수 있어, 활성도 계산이 체계적으로 오염될 가능성이 있다.
• Pivot 두 단계 번역의 오류 전파(error propagation)로 최종 출력의 의미가 왜곡될 수 있다(논문 §2 언급).

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

에이전트 경로 변위(Δij)를 LLM 응답의 불확실성 신호로 활용

운영 중인 다국어 LLM 시스템에서 사용자 질의를 최소 두 개 경로(예: 기본 디코딩 vs. 프롬프트 안정화 적용 디코딩)로 동시에 실행하고, 응답의 어휘·구조 변위를 점수화한다. 변위가 임계치를 넘으면 ‘불확실 영역’으로 판단해 안전 폴백 응답을 반환하거나 사람 검수로 라우팅한다. 본 논문의 Δij 정의를 행동 변위 신호로 일반화한 것으로, 별도 파인튜닝 없이 경로 제약만 바꿔 같은 효과를 얻을 수 있다. 논문 §5.4의 변위 공식을 그대로 재사용한다.

적용 지점 — LLM 응답 생성 단계의 자기 점검·품질 게이트

기대 효과 — 적정성 지표만으로 잡지 못하는 ‘출력 불안정성’을 정량화해 저신뢰 응답을 사전 식별. 본 논문의 행동 변위 정의를 직접 재사용.

경량 안정화 프로브로 신규 도메인 적응 데이터 품질 사전 진단

신규 방언이나 도메인 데이터셋이 들어왔을 때 전체 파인튜닝에 앞서 1 에폭·학습률 1e-5의 경량 프로브를 적용한다. 그 뒤 방언 마커 빈도와 구조적 분산의 변동을 측정해, 데이터가 실제로 의미 있는 어휘 확률 재가중을 유도하는지 사전에 판정한다. 변동이 미미하면 보강 또는 폐기를 빠르게 결정하고, 변동이 크면 본격 학습의 효과를 사전에 가늠한다. 본 논문 §3.3의 안정화 절차를 그대로 프로브로 축소 적용한 것이다.

적용 지점 — 도메인·언어 적응 파인튜닝 직전의 데이터 품질 검증 단계

기대 효과 — 비용 큰 풀 파인튜닝 전에 데이터 효과를 조기 판정. 본 논문에서 경량 학습만으로도 방언 마커가 2배 이상 변동한 결과(0.2266→0.4988)를 사전 신호로 활용.

Pivot 경로의 의미 병목 효과를 응답 길이 정규화 도구로 재활용

응답이 평균 길이 비율 1.5498배로 과도하게 장황한 zero-shot 상황(논문 Table 2)을 상정한다. 이때 응답을 두 단계로 쪼개 — ① 핵심 요약·의미 골격만 추출, ② 그 골격에서 최종 응답을 다시 작성 — 각각 다른 경로 제약을 줘서 pivot의 압축 효과를 흉내낸다. 동일 모델에서 단계적 디코딩을 적용해 응답을 표준 길이에 가깝게 끌어내린다. 본 논문에서 pivot이 평균 길이 비율을 0.9354로 떨어뜨린 결과를 직접 인용할 수 있는 수치 근거로 사용한다.

적용 지점 — 장황한 LLM 응답을 압축해야 하는 생성 단계(요약·재작성·체크리스트 생성)

기대 효과 — 응답 길이를 표준 참조 대비 1 미만으로 압축. 본 논문 pivot 경로의 평균 길이 비율 0.9354를 인용 가능한 수치 근거로 사용.

단계별 도입 로드맵

원문 PDF: 2026-09-05-translation-as-a-decision-space-a-multi-agent-perspective-on-low-resourc.pdf