핵심 요약

  • 마이크로소프트 리서치가 38억 파라미터 텍스트-이미지 모델 Lens를 공개했다. 800억짜리 Hunyuan-Image-3.0보다 작고, 같은 품질을 약 5분의 1의 컴퓨트로 낸다.
  • 이 모델의 진짜 무기는 모델 크기가 아니라 캡션 품질이다. 8억 장의 이미지-텍스트 쌍을 모은 Lens-800M 데이터셋의 캡션은 GPT-4.1이 다시 쓴 평균 100단어짜리 묘사다.
  • 웹에서 긁어온 alt-text는 학습 신호로 너무 흐렸다. GenEval 절제 실험에서 짧은 캡션·혼합 캡션은 상세 캡션을 단 한 항목에서도 이기지 못했다.
  • 구조도 단정하다 — 압축은 FLUX.2의 시맨틱 VAE, 텍스트 인코더는 GPT-OSS, 프롬프트 재작성기에는 GPT-5.5 또는 GPT-OSS, 마지막에 Lens-RL-8K로 강화학습을 한 번 입혔다.
  • Lens-Turbo는 1초 미만, 표준 모델은 H100 한 장에서 100만 픽셀당 약 3초다. 코드와 가중치는 MIT 라이선스로 허깅페이스·깃허브에 풀렸다(연구용).

1. 38억으로 800억을 넘어서는 시점

이미지 생성 모델 경쟁은 한동안 “더 큰 파라미터·더 큰 데이터셋” 한 방향으로 굴러왔다. Hunyuan-Image-3.0은 800억, Qwen-Image도 Lens의 다섯 배 규모다. 같은 라인을 따라가면 결국 H100 수십 장이 있어야 학습도, 추론도 시작할 수 있다는 결론이 나온다.

마이크로소프트 리서치의 Lens는 이 경쟁선에서 한 발 옆으로 비켜선다. 모델은 작게, 데이터는 정밀하게다. 38억 파라미터 모델이 GenEval, 프롬프트 충실도, 텍스트 렌더링, 복잡한 장면 생성에서 FLUX.2-Klein과 Z-Image를 넘어섰다고 보고됐다. 특히 Qwen-Image보다 작은데도 일부 항목에서 그 위로 올라간다는 점이 인상적이다.

훈련에 든 컴퓨트는 비슷한 품질의 비교군 대비 약 5분의 1 수준이다. “스케일을 키우는 길"이 유일한 길이 아니라는 신호로 읽힌다.

2. Lens-800M — 캡션을 새로 써서 만든 데이터셋

Lens가 비교 모델보다 가볍게 굴러갈 수 있는 첫 번째 이유는 데이터다. 8억 장 규모의 Lens-800M은 새로 모은 이미지가 아니다. 기존 웹 이미지 풀을 가져온 다음, GPT-4.1로 캡션을 통째로 다시 썼다.

논문은 이렇게 못 박았다.

“웹 alt-text는 너무 모호하거나, 아예 틀린 경우가 잦다. 그것이 학습 신호를 희석시킨다.”

다시 쓴 캡션은 한 장당 평균 100단어다. 카메라 각도, 빛의 방향, 객체의 공간 관계, 표정, 배경의 미세한 디테일까지 본문 수준의 문장으로 풀어 적었다. 절제(ablation) 실험에서 짧은 캡션, 혹은 짧은·긴 캡션을 섞은 학습 셋은 GenEval의 모든 항목에서 상세 캡션 단일 학습을 이기지 못했다.

데이터셋 크기를 두 배로 늘리는 것보다, 같은 크기에서 캡션 품질을 끌어올리는 쪽이 더 큰 성능 차이를 만든다는 결과다.

3. 아키텍처도 부품을 모은 단정한 조립

Lens 본체의 설계는 화려하지 않다. 이미 검증된 부품을 잘 골라서 끼웠다는 표현이 더 정확하다.

  • 이미지 압축: FLUX.2 시맨틱 VAE를 그대로 가져왔다. 잠재공간이 이미 의미 단위로 정렬돼 있어 작은 모델로도 디테일을 잘 살린다.
  • 텍스트 인코더: 오픈 가중치인 GPT-OSS다. 100단어짜리 긴 캡션을 의미 손실 없이 받아낸다.
  • 프롬프트 재작성기(reasoner): 기본값 GPT-5.5, 오픈 모드에서는 GPT-OSS. 사용자가 던진 한 줄 짜리 프롬프트를 학습 분포에 맞춰 100단어급 묘사로 늘려준다.
  • 강화학습 단계: 열 가지 카테고리로 분류된 Lens-RL-8K 프롬프트 셋으로 마지막 RL 미세조정을 입혔다. 평가 기준은 프롬프트 충실도와 텍스트 렌더링 정확도 쪽으로 잡혔다.

핵심은 추가 파라미터를 늘리지 않고 외부 모듈에 일을 분담시켰다는 점이다. VAE와 텍스트 인코더는 이미 학습이 끝난 부품이고, Lens 본체는 잠재공간에서 디퓨전 디코딩에만 집중한다.

4. Turbo가 1초 미만으로 들어오는 의미

표준 Lens는 H100 한 장에서 100만 픽셀 한 장을 약 3초에 그린다. Lens-Turbo는 같은 한 장을 1초 미만에 끊는다. 1초 벽이 깨졌다는 건 단순히 빠르다는 의미가 아니다.

  • 채팅형 인터페이스에서 타이핑 - 응답 한 사이클 안에 이미지가 들어올 수 있다.
  • 인페인팅·로컬 편집 같은 반복 작업의 손맛이 살아난다.
  • 모바일 백엔드에서도 요청당 GPU 점유 비용이 떨어진다.

여기에 모델이 작다는 사실이 또 한 번 곱해진다. 같은 H100 한 장에서 더 큰 모델은 메모리에 겨우 올라가는 반면, Lens는 동시 서빙 슬롯을 더 잡을 수 있다. 추론 단가에서 그대로 차이가 난다.

실무자가 볼 핵심 포인트

  • 데이터 큐레이션이 모델 스케일보다 우위에 설 수 있다. 이미지 생성 외 도메인에서도 “더 모으기"보다 “다시 쓰기” 쪽으로 예산을 옮길 가치가 있다.
  • 상세한 라벨링은 LLM으로 자동화 가능하다. GPT-4.1 한 모델로 8억 장 캡션을 다시 쓰는 비용은 모델 학습 컴퓨트를 5배로 키우는 비용보다 훨씬 싸다.
  • 부품 조립형 아키텍처가 다시 유효해졌다. VAE + 텍스트 인코더 + 디퓨전 본체 + 외부 reasoner라는 구조는 각 부품을 독립적으로 교체·업그레이드할 수 있다는 운영상 큰 장점이 있다.
  • 연구용 라이선스라는 점에 유의. MIT 라이선스이지만 명시적으로 연구용으로 풀린 만큼, 상용 파이프라인에 곧장 넣기 전에 라이선스 조건을 다시 확인해야 한다.
  • 벤치마크 해석에 주의. GenEval은 프롬프트 충실도 중심이라 디자이너가 보는 “예쁨"과는 별개다. 실제 서비스 도입 전에 도메인별 인간 평가를 반드시 추가해야 한다.

원문 출처