개요
항법(Navigation)에는 특수한 성질이 있다. 목적지까지 가는 결정 구조가 언어 방향 명령과 픽셀 수준 시각 타깃이라는 두 출력으로 환원된다. 이 두 출력은 사전 학습된 MLLM의 자연 출력 공간 안에 있다. 즉, 로봇 데이터로 학습하지 않아도 추론으로 풀 수 있다. Uni-LaViRA는 이 통찰을 네 가지 과제 군과 네 종류 실제 로봇에 동시에 적용한 통합 에이전트 아키텍처다.
핵심 요약
- 과제: VLN-CE, ObjectNav, EQA, Aerial-VLN 4개 과제 군 통합
- 로봇: 바퀴형, 사족보행, 휴머노이드, 자체 제작 드론 4종 제로샷 적용
- 핵심 메커니즘: TODO List Memory(TDM) + Second Chance Backtrack(SCB)
- 학습량 제로: 로봇 궤적 데이터, GPU 시간 불필요
- VLN-CE R2R: 60.7% SR — 수백만 샘플로 훈련한 기존 기반 모델과 동등·초과
- HM3D-v2: 77.7% SR
- MP3D-EQA: 54.7% SR
- OpenUAV(공중 드론): 40.0% SR
본문
기존 접근의 한계: 데이터로만 일반화를 추구한다
체화 항법의 주류 접근은 Vision-Language-Action(VLA) 기반 모델을 점점 더 많은 로봇 궤적 데이터로 확장하는 방식이다. 이 접근은 효과적이지만 두 가지 비용이 따른다. 막대한 데이터 수집 비용과, 특정 로봇·환경에 묶인 일반화 한계다.
Uni-LaViRA는 다른 질문을 던진다. “항법에 한해서, 데이터 규모 없이 구조적으로 일반화를 달성할 수 있는가?”
Language-Vision-Robot Actions Translation
논문이 제시하는 핵심 아이디어는 항법의 결정 구조 분석이다.
항법 에이전트가 매 스텝마다 해야 하는 일은 두 가지다. 하나는 언어 행동(language action): 현재 상황에서 어떤 방향으로 가야 하는지 의미 수준의 방향 명령을 생성한다. 다른 하나는 시각 행동(vision action): 로봇이 향해야 할 픽셀 수준의 시각 타깃을 지정한다.
이 두 출력의 공통점이 있다. 둘 다 사전 학습된 MLLM이 자연스럽게 생성할 수 있는 출력 형식이다. 텍스트 방향 명령은 언어 생성 문제고, 픽셀 타깃 지정은 시각 접지(visual grounding) 문제다. 별도의 로봇 데이터로 행동 정책을 학습하지 않아도, MLLM의 추론 능력으로 처리할 수 있다.
두 가지 에이전트 루프 메커니즘
이 아이디어를 실제로 작동하게 만드는 두 메커니즘이 있다.
TODO List Memory (TDM)
에이전트가 매 스텝마다 처리 중인 하위 목표 체크리스트를 재작성한다. 완료되지 않은 항목만 에이전트의 가장 최근 어텐션 윈도우에 다시 주입한다. 장거리 탐색에서 장기 목표를 잃지 않는 구조적 해결책이다. 기존 에이전트가 긴 탐색 과정에서 초기 목표를 잊거나 잘못 추적하는 문제를 방지한다.
Second Chance Backtrack (SCB)
오류 상태에서 에이전트를 오류 이전 상태로 되돌리고, 실패한 서브 궤적을 다음 계획의 조건으로 넣는다. 단일 패스 항법을 자기 수정 프로세스로 전환한다. “이전에 이 방향으로 가다가 실패했다"는 정보가 다음 시도에 활용된다.
4종 과제, 4종 로봇에서의 성능
Uni-LaViRA는 학습 없이 다음 결과를 달성했다.
| 벤치마크 | 지표 | 결과 |
|---|---|---|
| VLN-CE R2R | SR | 60.7% |
| VLN-CE RxR | SR | 51.3% |
| HM3D-v2 | SR | 77.7% |
| HM3D-OVON | SR | 60.0% |
| MP3D-EQA | SR | 54.7% |
| OpenUAV | SR | 40.0% |
VLN-CE R2R 60.7%는 수백만 샘플과 수천 GPU 시간을 쓴 최근 학습 기반 항법 모델과 동등하거나 이를 초과한다. 실제 로봇 4종 — 바퀴형, 사족보행, 휴머노이드, 자체 제작 UAV — 에서 제로샷으로 작동한다.
데이터 규모 vs. 구조적 일반화
이 논문이 보여주는 것은 항법 영역에서 구조적 통찰이 데이터 규모를 대체할 수 있다는 점이다.
물론 이 결과가 VLA 기반 모델 전체를 부정하는 것은 아니다. 논문도 “항법에 한해서"라고 명시한다. 하지만 올바른 추상화 수준을 찾으면 대규모 로봇 데이터 없이도 일반화가 가능하다는 구체적 증거다.
에이전트 아키텍처 설계 측면에서도 TDM과 SCB는 독립적으로 참고할 만한 패턴이다. 장기 목표 유지와 오류로부터의 자기 수정은 항법을 넘어 일반 에이전트 설계에서도 중요한 문제다.
실무자가 볼 핵심 포인트
- 항법 = MLLM 추론 문제: 로봇 데이터를 별도로 수집하지 않아도 기존 MLLM으로 항법 에이전트를 구성할 수 있다. 로봇 항법 프로젝트를 시작한다면 Uni-LaViRA 아키텍처가 베이스라인 후보다.
- TDM 패턴 범용성: TODO List Memory는 항법 전용이 아니다. 장기 계획이 필요한 에이전트(복잡한 태스크 자동화, 멀티스텝 에이전트)에 적용 가능한 메모리 패턴이다.
- SCB 패턴: 실패한 시도를 다음 계획에 주입하는 구조는 에이전트 신뢰성 향상에 직접 쓸 수 있다. 재시도 로직을 단순 반복이 아닌 오류 조건부 재계획으로 만드는 아이디어다.
- 드론 항법 진입 비용 감소: OpenUAV에서 40% SR은 공중 드론 항법의 제로샷 가능성을 보여준다. 드론 기반 인스펙션·배달 시스템을 개발하는 팀에게 실질적인 시작점이 된다.
- 프로젝트 페이지: xetroubadour.github.io/Uni-LaViRA 에서 추가 데모와 구현 세부 사항 확인 가능.