사진을 보고 장면의 거리와 표면 방향을 함께 그려 내는 AI를 비디오 생성 방식으로 만든 연구다.

사진을 보고 장면의 거리와 표면 방향을 함께 그려 내는 AI를 비디오 생성 방식으로 만든 연구다.

무엇이 문제였나 — 사진 한 장만으로 물체까지의 거리와 표면이 향하는 방향을 정확히 알아내기는 어렵다. 어떻게 풀었나 — 사진과 거리 지도, 표면 방향 지도를 한 묶음의 연속된 장면처럼 함께 만들도록 비디오 AI를 바꿨다. 그래서 뭐가 좋아졌나 — 적은 학습 자료로도 여러 낯선 사진에서 두 정보를 함께 추정했고, 일부 비교에서 기존 방법보다 좋은 결과를 냈다.

한 장의 풍경화를 보고 싶다면, 이 방법은 그림과 함께 높낮이 지도와 표면이 향한 방향 지도를 나란히 그린다. 세 그림을 같이 맞춰 가며 그리기 때문에 어느 한 그림의 모양이 원본과 어긋나는 것을 줄일 수 있다.

논문 정보

Haosen Yang, Jifei Song, Zhensong Zhang, Xiatian Zhu, Jiankang Deng · University of Surrey; Independent Researcher; Imperial College London · arXiv preprint · 2026

왜 중요한가

거리와 표면 방향을 알면 사진으로 3D 모형을 만들거나 조명을 바꾸는 작업에 쓸 수 있다. 두 정보를 따로 추정하는 대신 함께 만들면 서로 맞지 않는 결과를 줄이는 데 도움이 된다.

핵심 지표

어떻게 동작하나

GeoNeXt는 Stable Video Diffusion의 비디오 생성 구조를 단일 이미지의 깊이와 표면 법선 예측에 맞게 전용한다. 입력 RGB, 깊이, 표면 법선을 고정된 VAE로 잠재 공간에 인코딩하고, 깊이와 법선을 입력 이미지 뒤에 이어지는 프레임처럼 구성한다. 기하 슬롯에 이미지 잠재를 복제해 조건 신호를 제공하며, 이미지·깊이·법선 잠재를 함께 잡음 제거하도록 U-Net만 미세조정한다. 입력 이미지도 함께 복원하는 목적을 두어 이미지와 기하 결과가 서로 맞도록 학습한다. CLIP 조건 분기는 이미지 크기 조절로 기하 구조가 왜곡될 수 있어 비활성화한다. 추론은 EDM 샘플러 5단계를 사용하며, 보고된 앙상블 설정은 서로 다른 잡음 시드의 5회 추론이다.

핵심 수식:

\mathbf{z}_t = \mathbf{z}_0 + \sigma_t\boldsymbol{\epsilon},\quad \boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})
\mathcal{G}=(\mathbf{x},\mathbf{d},\mathbf{n}),\quad \mathcal{L}=\|\mathbf{z}_0^{(x)}-\hat{\mathbf{z}}_0^{(x)}\|_2^2+\|\mathbf{z}_0^{(d)}-\hat{\mathbf{z}}_0^{(d)}\|_2^2+\|\mathbf{z}_0^{(n)}-\hat{\mathbf{z}}_0^{(n)}\|_2^2

\mathbf{x}는 입력 이미지, \mathbf{d}는 깊이, \mathbf{n}은 표면 법선이며, \mathcal{G}는 이미지-기하 삼중항이다. \mathbf{z}_0는 각 모달리티의 VAE 잠재 표현, \sigma_t는 노이즈 레벨, \boldsymbol{\epsilon}은 가우시안 노이즈, \hat{\mathbf{z}}_0는 예측된 잠재 표현을 나타내며, 이미지·깊이·표면 법선의 복원 오차를 함께 최소화하도록 학습한다.

한계와 주의할 점

• 깊이는 단안 이미지로부터의 추정이며, 실험에서도 affine-invariant depth를 다뤄 절대 거리나 카메라 설정 간 metric depth를 직접 제공하지 않는다.
• 학습은 Hypersim과 Virtual KITTI 2의 합성 자료에 의존한다. 실제 서비스의 촬영 조건과 합성 데이터 간 차이는 일반화 성능에 영향을 줄 수 있다.
• 성능은 이미지 VAE의 잠재 표현과 복원에 의존한다. 깊이를 3채널로 복제해 인코딩하고 디코딩 시 평균 내므로, VAE가 기하 정보에 주는 표현 편향이 남을 수 있다.
• 추론 비용 분석은 NVIDIA A5000, 768×768 조건에 한정된다. 표의 5×5 설정은 단일 추론보다 시간이 길고, 운영 환경의 I/O 오버헤드는 보고 시간에 포함되지 않았다.
• 본문에는 통계적 유의성 검정이나 신뢰구간 보고가 없어, 표의 차이가 반복 실험 간 변동을 넘어서는지 판단하기 어렵다.
• 학습 분포와 크게 다른 실제 환경이나 조명·재질에서는 깊이와 표면 방향의 구조적 오류가 생길 수 있다.
• 가는 물체와 물체 경계처럼 고주파 세부 정보가 필요한 곳에서 잠재 인코딩·복원 과정이 세부 형상을 흐리게 할 수 있다.
• 단일 이미지에서 가려진 영역이나 모호한 장면은 관측만으로 결정하기 어려워, 그럴듯하지만 실제와 다른 기하로 복원될 수 있다.
• 깊이와 법선이 함께 그럴듯해 보여도 서로 기하학적으로 모순될 수 있으며, 논문은 이를 별도의 물리 일관성 검증으로 보장하지 않는다.

시스템 적용 아이디어

논문의 기법을 비슷한 구조를 가진 시스템에 옮길 때의 적용 지점이다.

이미지 복원 오차를 기하 예측 품질 게이트에 연결

GeoNeXt는 이미지·깊이·법선을 함께 복원하며, ablation에서 이미지 복원 가지를 제거했을 때 성능이 하락했다. 이 공동 복원 구조를 추론 시 품질 신호로 활용해 입력 이미지 잠재의 복원 오차를 계산한다. 오차가 높은 경우 기하 결과를 메시 생성이나 재조명 단계에 바로 넘기지 않고 재추론 또는 검토 대상으로 표시한다. 임계값은 대상 데이터에서 별도로 보정해야 한다.

적용 지점 — 이미지 기반 깊이·법선 추론 후속 처리

기대 효과 — 이미지 복원이 기하 성능에 기여함을 ablation에서 확인했지만, 오차 게이트 자체의 성능 향상 수치는 논문에 보고되지 않았다.

한 번의 추론으로 깊이와 법선을 함께 생성

깊이 전용·법선 전용 모델을 각각 실행하는 파이프라인이라면, 두 출력 잠재를 이미지 뒤의 프레임 슬롯으로 구성해 공동 복원하도록 바꾼다. 논문은 두 목표를 함께 학습할 때 분리 학습보다 평가 지표가 개선되는 결과를 보였다. 추론 API도 하나의 모델 호출에서 두 결과를 반환하도록 구성해 체크포인트 관리와 개별 모델 로딩을 줄인다. 지연 시간은 하드웨어와 입력 크기에서 다시 측정한다.

적용 지점 — 깊이·표면 법선 추정 파이프라인

기대 효과 — 논문은 통합 모델 GeoNeXt의 1×1 설정에서 ETH3D AbsRel 5.8, iBims-N 평균 각도 오차 16.8°를 보고한다. 별도 모델 대비 추론 시간 절감량은 일반화할 수치로 제시되지 않았다.

단계별 도입 로드맵

원문 PDF: 2026-08-31-video-generative-models-as-geometry-learner.pdf