Zyphra Zamba2-VL — 첫 토큰까지 한 자릿수, 하이브리드 맘바2 비전·언어 모델
개요 Zyphra가 6월 12일에 Zamba2-VL을 풀었습니다. 1.2B, 2.7B, 7B 세 가지 크기를 같이 공개했고, 가중치와 코드 모두 Apache 2.0 라이선스입니다. 뼈대가 좀 특이합니다. 같은 크기의 다른 오픈 VLM이 거의 다 트랜스포머만 쓰는 데 비해, Zamba2-VL은 Mamba2 SSM 블록 위에 소수의 공유 트랜스포머 블록을 끼워 넣은 하이브리드입니다. 그 결과가 글 제목 그대로입니다. 32k 토큰짜리 긴 입력을 받았을 때, 첫 토큰이 돌아올 때까지 걸리는 시간이 비슷한 크기 트랜스포머 VLM 대비 약 1/6 수준으로 떨어집니다. ...