Open Model

개요 바이두가 6월 24일 Unlimited OCR을 공개했습니다. 이름은 좀 과해 보입니다. 그래도 핵심 아이디어 하나는 또렷합니다. 출력이 아무리 길어져도 KV 캐시가 늘지 않는다는 점입니다. 모델 자체는 총 3B 파라미터의 MoE이고, 추론할 때 실제로 도는 전문가는 500M뿐입니다. DeepSeek OCR을 처음부터 다시 짠 게 아니라, 그 체크포인트에서 디코더만 갈아 끼우고 이어 학습한 결과물입니다. 라이선스도 MIT라 가중치를 그대로 가져다 써도 됩니다. ...

개요 Zyphra가 6월 12일에 Zamba2-VL을 풀었습니다. 1.2B, 2.7B, 7B 세 가지 크기를 같이 공개했고, 가중치와 코드 모두 Apache 2.0 라이선스입니다. 뼈대가 좀 특이합니다. 같은 크기의 다른 오픈 VLM이 거의 다 트랜스포머만 쓰는 데 비해, Zamba2-VL은 Mamba2 SSM 블록 위에 소수의 공유 트랜스포머 블록을 끼워 넣은 하이브리드입니다. 그 결과가 글 제목 그대로입니다. 32k 토큰짜리 긴 입력을 받았을 때, 첫 토큰이 돌아올 때까지 걸리는 시간이 비슷한 크기 트랜스포머 VLM 대비 약 1/6 수준으로 떨어집니다. ...