https://techllm.github.io/tags/%ED%86%A0%ED%81%B0%ED%99%94/Recent content in 토큰화 on TechLLMHugokoFri, 14 Aug 2026 07:38:02 +0900https://techllm.github.io/posts/structural-silence-when-ai-infrastructure-fails-speakers-of-underrepre/Fri, 14 Aug 2026 07:38:02 +0900https://techllm.github.io/posts/structural-silence-when-ai-infrastructure-fails-speakers-of-underrepre/이 논문은 약 2억 8,500만 명이 사용하는 벵골어가 AI 교육 도구와 언어 지원 인프라에서 겪는 네 가지 구조적 실패를 분석한다. 핵심 실패는 웹 콘텐츠 과소대표(전 세계 웹 콘텐츠 0.5% 미만), 영어 대비 약 67:1의 훈련 토큰 격차, 벵골어 문자 체계에 불리한 토큰화 페널티, 그리고 농촌 개인 인터넷 이용률 36.5%로 대표되는 연결성 배제다. 저자들은 이를 개별 연구자의 데이터 부족 문제가 아니라, 영어 중심 데이터 수집·토크나이저·평가·클라우드 배포 관행이 누적된 결과로 해석한다.https://techllm.github.io/posts/visa-chatgpt-agentic-payments/Sat, 13 Jun 2026 01:44:00 +0900https://techllm.github.io/posts/visa-chatgpt-agentic-payments/Visa가 ChatGPT 안에 결제 인프라를 직접 연결했습니다. 이제 사용자가 'X를 사 줘'라고만 말하면 AI 에이전트가 상품을 비교하고, 토큰을 발급받고, 결제까지 끝냅니다. 사람이 카트에 담거나 카드 정보를 입력하는 단계가 통째로 사라진 셈입니다. 마케팅, 검색, 고객 응대까지 다 바뀝니다. 어떤 구조로 돌아가는지, 리테일 업체가 뭘 준비해야 하는지 정리합니다.