벵골어는 세계적으로 많이 쓰이는 언어지만, 현재 AI 인프라는 벵골어 사용자에게 불리하게 만들어져 있다는 점을 보여주는 논문이다.
벵골어는 세계적으로 많이 쓰이는 언어지만, 현재 AI 인프라는 벵골어 사용자에게 불리하게 만들어져 있다는 점을 보여주는 논문이다. 무엇이 문제였나 — 벵골어 사용자는 많지만 벵골어 웹 콘텐츠는 전 세계 웹의 0.5% 미만이고, AI 학습 데이터도 영어보다 훨씬 적다. 어떻게 풀었나 — 웹 콘텐츠, 학습 토큰, 글자 쪼개기 방식, 인터넷 접근성이라는 네 층위에서 불평등이 어떻게 누적되는지 정리했다. 그래서 뭐가 좋아졌나 — 그래서 왜 중요한가: AI 교육 도구가 클라우드와 영어를 기본값으로 삼으면, 농촌 벵골어 학습자는 설명을 이해하기도 어렵고 도구에 접속하기도 어렵다. ...