구글이 LiteRT-LM을 전면에 내세웠다. 핵심은 단순하다. LLM을 서버로 보내지 않고, Android·iOS·브라우저 안에서 빠르게 돌리겠다는 것이다. 원문이 제시한 숫자는 꽤 공격적이다. Gemma 4 E2B 기준 Android GPU 52 tokens/sec, iOS Metal 56 tokens/sec, WebGPU에서는 최대 76 tokens/sec까지 언급한다. ...
Qwen 팀이 Qwen3.7-Max를 공개했다. 이번 글에서 Qwen은 이 모델을 단순한 채팅 모델이 아니라, 코딩·업무 자동화·장기 자율 실행을 수행하는 에이전트 기반 모델로 소개한다. 핵심은 벤치마크 점수 하나가 아니라, 여러 하네스와 도구 환경에서 오래 버티며 문제를 풀 수 있는가에 있다. ...
대학의 AI 교육은 빠르게 늘고 있다. 프롬프트 엔지니어링 워크숍, 생성형 AI 활용 수업, 최신 도구 실습도 이제 낯설지 않다. 하지만 Hugging Face의 글은 더 근본적인 질문을 던진다. 우리는 학생을 AI 소비자로 가르치고 있는가, 아니면 AI 빌더로 키우고 있는가? ...
NVIDIA가 Hugging Face를 통해 공개한 Nemotron-Labs Diffusion은 “LLM은 꼭 한 토큰씩 생성해야 하는가?”라는 질문에서 출발한다. 핵심은 기존 자동회귀 방식의 안정성은 유지하면서도, 디퓨전 방식의 병렬 생성과 반복 정제를 실무 추론에 가져오는 것이다. ...
AI 에이전트는 매 턴마다 비용을 낸다 AI 에이전트를 오래 실행해 본 사람이라면 한 가지 이상한 비용을 보게 된다. 새로 한 일이 많지 않은데도 입력 토큰 비용이 계속 커진다. 이유는 단순하다. 에이전트는 매 요청마다 시스템 지침, 도구 정의, 프로젝트 설명, 이전 대화 맥락을 다시 읽는다. 이미 알고 있는 내용을 반복해서 처리하는 셈이다. 원문에서는 이것을 **컨텍스트 세금(Context Tax)**이라고 표현한다. 예를 들어 20,000토큰짜리 시스템 프롬프트를 50턴 동안 반복해서 처리하면, 새 가치를 만들지 않는 입력 계산만 100만 토큰이 된다. 프롬프트 캐싱은 바로 이 낭비를 줄이기 위한 기술이다. ...