https://techllm.github.io/tags/%ED%86%A0%ED%81%B0-%EC%B6%9C%EC%82%B0%EC%9C%A8/Recent content in 토큰 출산율 on TechLLMHugokoFri, 14 Aug 2026 07:38:02 +0900https://techllm.github.io/posts/structural-silence-when-ai-infrastructure-fails-speakers-of-underrepre/Fri, 14 Aug 2026 07:38:02 +0900https://techllm.github.io/posts/structural-silence-when-ai-infrastructure-fails-speakers-of-underrepre/이 논문은 약 2억 8,500만 명이 사용하는 벵골어가 AI 교육 도구와 언어 지원 인프라에서 겪는 네 가지 구조적 실패를 분석한다. 핵심 실패는 웹 콘텐츠 과소대표(전 세계 웹 콘텐츠 0.5% 미만), 영어 대비 약 67:1의 훈련 토큰 격차, 벵골어 문자 체계에 불리한 토큰화 페널티, 그리고 농촌 개인 인터넷 이용률 36.5%로 대표되는 연결성 배제다. 저자들은 이를 개별 연구자의 데이터 부족 문제가 아니라, 영어 중심 데이터 수집·토크나이저·평가·클라우드 배포 관행이 누적된 결과로 해석한다.