VLM on TechLLMhttps://techllm.github.io/tags/vlm/Recent content in VLM on TechLLMHugokoMon, 19 Oct 2026 07:32:15 +0900AI가 망설일 때 큰 모델에게 도움을 받고, 그 경험을 배워 나중에는 혼자 행동하는 방법이다.https://techllm.github.io/posts/selective-agent-guidance-via-entropy-learning-autonomous-policies-from/Mon, 19 Oct 2026 07:32:15 +0900https://techllm.github.io/posts/selective-agent-guidance-via-entropy-learning-autonomous-policies-from/SAGE는 학습 중 정책의 정규화 엔트로피가 임계값을 넘을 때 VLM 교사를 호출해 제안 행동을 실행하고, 학생 정책은 학생 행동에 PPO를, 교사 행동에 행동 복제(BC)를 적용해 학습하는 프레임워크다. 교사 행동의 BC 가중치에 환경에서 얻은 advantage를 반영하는 AWBC도 선택적으로 사용하지만, 실험에서 일반 BC보다 일관되게 낫지는 않았다. 6개 통제 환경에서 훈련 단계의 VLM 호출률은 1.2~13.3%였고, 평가 때는 VLM을 호출하지 않는다.Zyphra Zamba2-VL — 첫 토큰까지 한 자릿수, 하이브리드 맘바2 비전·언어 모델https://techllm.github.io/posts/zyphra-zamba2-vl-hybrid-vlm/Fri, 12 Jun 2026 20:03:00 +0900https://techllm.github.io/posts/zyphra-zamba2-vl-hybrid-vlm/Zyphra가 1.2B·2.7B·7B 세 가지 크기로 공개한 Zamba2-VL. Mamba2 SSM과 트랜스포머를 섞은 백본 위에 Qwen2.5-VL의 ViT를 얹어, 32k 토큰 입력에서 첫 토큰 응답을 다른 VLM의 1/6 수준으로 끌어내렸다.Spot이 거실 청소를 한다 — Boston Dynamics가 Gemini Robotics로 풀어낸 자연어 로봇 조종 아키텍처https://techllm.github.io/posts/spot-gemini-robotics-natural-language-tools/Fri, 15 May 2026 13:48:00 +0900https://techllm.github.io/posts/spot-gemini-robotics-natural-language-tools/Boston Dynamics가 Google Gemini Robotics-ER 1.5와 Spot SDK를 묶어 산업용 4족 로봇이 거실에서 신발과 음료 캔을 자연어 지시 한 줄로 정리하는 데모를 공개했다. "Tool 아키텍처", baseline prompt 설계의 시행착오, operator+tablet 역할의 LLM, 그리고 발명 차단(strict boundaries) 가드레일까지 — 자연어가 산업 로봇의 새 인터페이스가 되는 구조를 정리한다.