AI가 망설일 때 큰 모델에게 도움을 받고, 그 경험을 배워 나중에는 혼자 행동하는 방법이다. 무엇이 문제였나 — 문제: 보상이 드문 과제는 시행착오만으로 배우기 어렵고, 큰 모델을 매번 부르면 비용이 든다. 어떻게 풀었나 — 해결: AI가 여러 행동을 비슷하게 고민하는 상태에서만 큰 모델에게 물어보고, 그 행동을 따라 배우게 한다. 그래서 뭐가 좋아졌나 — 효과: 통제 환경에서는 학습 중 큰 모델 호출을 줄였고, 평가 때는 호출 없이 작동한다. 다만 결과는 교사가 유용한 안내를 주는지에 달려 있다. ...
개요 Zyphra가 6월 12일에 Zamba2-VL을 풀었습니다. 1.2B, 2.7B, 7B 세 가지 크기를 같이 공개했고, 가중치와 코드 모두 Apache 2.0 라이선스입니다. 뼈대가 좀 특이합니다. 같은 크기의 다른 오픈 VLM이 거의 다 트랜스포머만 쓰는 데 비해, Zamba2-VL은 Mamba2 SSM 블록 위에 소수의 공유 트랜스포머 블록을 끼워 넣은 하이브리드입니다. 그 결과가 글 제목 그대로입니다. 32k 토큰짜리 긴 입력을 받았을 때, 첫 토큰이 돌아올 때까지 걸리는 시간이 비슷한 크기 트랜스포머 VLM 대비 약 1/6 수준으로 떨어집니다. ...
핵심 요약 Boston Dynamics가 산업용 4족 로봇 Spot을 거실에 풀어 신발과 음료 캔을 정리하는 데모를 공개했다. 구동 모델은 Google의 비전-언어 모델 Gemini Robotics-ER 1.5다. 핵심 아키텍처는 Spot SDK 위에 얇은 layer를 올리고, Gemini Robotics에는 한정된 Tool 집합(navigate, take picture, identify, grasp, place)만 노출한 구조. 자연어 한 줄로 Tool 시퀀스를 즉석 구성한다. 작성된 명령은 “Make sure all of the shoes at the front door are on the shoe rack.” 단 한 줄. Gemini가 카메라 이미지를 평가해 객체를 식별하고, Spot의 navigation·manipulation 시스템이 실제 동작을 처리한다. “Operator + Tablet 역할을 LLM이 대신” 한다는 비유가 정확하다. 사람은 to-do 리스트만 던지는 팀장 위치로 올라간다. Tool 응답(“I picked up the object”, “I can’t pick up something while my hand is full”)으로 Gemini가 즉시 적응. 하지만 “새 능력 발명 금지” 가드레일로 API 외 제어는 차단된다 — 예측 가능성 + 적응성의 균형. Boston Dynamics는 이미 AIVI-Learning을 Gemini Robotics ER 1.6로 업그레이드해 Spot/Orbit의 시각 검사 도구에 적용 중. 모델 개선이 같은 하드웨어에 자동으로 흘러 들어온다. 산업용 로봇이 거실에서 신발을 정리한다 Boston Dynamics의 Spot은 공장과 발전소의 거친 환경을 위해 설계된 산업용 로봇이다. 그런 로봇이 거실에서 신발과 음료 캔을 줍는 데모는 어떤 의미일까. 핵심은 로봇이 새 환경을 학습한 게 아니라, 자연어 인터페이스가 환경 적응을 풀어냈다는 점이다. ...