LiteRT-LM 공식 블로그 메인 이미지

서버 없이 76토큰/초? 구글 LiteRT-LM이 온디바이스 AI의 병목을 뚫었다

구글이 LiteRT-LM을 전면에 내세웠다. 핵심은 단순하다. LLM을 서버로 보내지 않고, Android·iOS·브라우저 안에서 빠르게 돌리겠다는 것이다. 원문이 제시한 숫자는 꽤 공격적이다. Gemma 4 E2B 기준 Android GPU 52 tokens/sec, iOS Metal 56 tokens/sec, WebGPU에서는 최대 76 tokens/sec까지 언급한다. ...

2026년 5월 24일 · 4 분 · 749 단어 · TechLLM
작고 효율적인 오픈 AI 모델들이 엣지 기기와 개발자 워크스테이션, 클라우드에 연결된 기술 일러스트

Gemma 4: 구글이 말하는 ‘파라미터 대비 성능’의 새 기준

핵심 요약 구글이 Gemma 4를 공개했습니다. 원문에서 가장 강조하는 표현은 “byte for byte”, 즉 같은 크기 대비 가장 강력한 오픈 모델이라는 주장입니다. 단순히 새 모델을 냈다는 소식보다 중요한 건, Gemma 4가 고급 추론과 에이전틱 워크플로우를 정면으로 겨냥했다는 점입니다. ...

2026년 5월 2일 · 2 분 · 421 단어 · TechLLM