핵심 요약
- VLA(Vision-Language-Action) 모델은 일반화된 로봇 제어의 길을 여는 한편, **추론 지연(latency)**이 비동기 실행 시 관측을 낡게(stale) 만든다.
- 이 문제를 풀기 위해 동시기에 제안된 네 방법(IT-RTC, TT-RTC, VLASH, A2C2)은 그동안 서로 다른 코드베이스·정책·프로토콜로 평가돼 우열을 가릴 수 없었다.
- 본 논문은 네 방법을 통일된 코드베이스 두 개로 묶어 Kinetix·LIBERO 두 벤치마크에서 추론 지연 d=0~20 단계까지 sweep해 비교했다.
- A2C2의 per-step 잔차 보정이 Kinetix·LIBERO 모두에서 강했고, TT-RTC는 가장 강건한 학습 기반 방법으로 추론 오버헤드 0이라는 강점을 보였다.
- VLA 실배포에서 어떤 보정 기법을 고를지는 목표 지연 범위와 추론 비용 허용도에 따라 갈린다는 것이 명확해졌다.
VLA 모델과 ‘관측 stale’ 문제
Vision-Language-Action(VLA) 모델은 카메라 입력과 자연어 지시를 한 모델에서 받아 로봇 행동 시퀀스를 생성한다. 일반화 능력은 매력적이지만 모델 크기가 커질수록 한 번의 추론에 걸리는 시간도 길어진다.
문제는 로봇 제어가 연속 시간 시스템이라는 점이다. 모델이 t 시점의 관측을 받아 행동을 계산하는 동안 세계는 계속 움직인다. 행동이 실제 실행되는 시점에는 그 행동이 가정한 관측이 이미 과거의 것이 되어 있다 — 이게 관측 stale 문제다. 지연(d)이 클수록 격차도 커지고, 정밀 매니퓰레이션처럼 위치 오차에 민감한 작업에서는 그대로 실패로 이어진다.
동시기에 등장한 네 가지 해법
지난 몇 달 사이 학계는 이 문제를 각자 다른 방식으로 풀어왔다.
- IT-RTC — 추론 시점에 인페인팅(inference-time inpainting) 기법으로 stale한 행동 chunk를 새 관측에 맞춰 보정한다. 모델은 그대로 두고 추론 단계에서만 손본다.
- TT-RTC — 학습 단계에서 지연을 시뮬레이션한 데이터로 정책을 훈련시켜, 추론 시 지연에 자연스럽게 대응하게 만든다. 추론 오버헤드가 0이라는 결정적 장점이 있다.
- VLASH — 미래 상태 인식 조건화(future-state-aware conditioning) 로 정책이 stale 입력을 받았을 때 어느 시점의 행동을 내야 할지 알게 한다.
- A2C2 — 메인 정책 위에 경량 잔차 보정 모듈(lightweight residual correction) 을 얹어 매 스텝마다 빠른 보정 신호를 더한다.
각각 다른 코드, 다른 정책, 다른 시뮬레이터에서 검증돼 그동안 “내 방법이 제일 좋다"는 주장만 충돌해왔다.
통일 환경에서의 체계적 비교
저자는 두 개의 통일 코드베이스를 새로 구축했다. 라이브러리 버전·데이터셋·기록 형식까지 모두 맞췄다. 그 위에서 두 벤치마크가 돌아갔다.
- Kinetix suite — MLPMixer 정책 기반의 비교적 경량 환경.
- LIBERO — SmolVLA를 베이스로 한 실제 매니퓰레이션 벤치마크.
추론 지연 d는 0부터 20 control step까지 sweep됐다. 행동 chunk 길이 H도 변화시켜 긴 chunk(H=30)에서의 강건성도 함께 평가됐다.
결과 — A2C2가 강했고, TT-RTC가 가장 안전했다
핵심 결과는 다음과 같이 정리된다.
| 방법 | 강점 | 약점 |
|---|---|---|
| A2C2 | Kinetix에서 d=8까지 솔브율 90%+ 유지. LIBERO에서도 d=4 이상에서 1위 | 잔차 모듈 추가 학습·추론 비용 |
| IT-RTC | 저지연 구간에서 경쟁력 | 긴 chunk(H=30)와 높은 지연에서 급격한 성능 저하 |
| TT-RTC | d_max 선택에 강건, 학습 분포 너머로도 일반화. 추론 오버헤드 0 | 절대 성능은 A2C2 대비 한 단계 낮음 |
| VLASH | 학습 지연 범위 [0, d_max]에 맞춰 튜닝하면 해당 구간에서 강함 | 저지연 vs 고지연 trade-off 명확 — 한쪽을 포기해야 함 |
특히 A2C2의 per-step residual correction이 흥미롭다. 메인 정책은 그대로 두고 그 위에 가벼운 보정 신호만 매 스텝 더하는 구조라, 큰 VLA 모델의 추론 호출 주기를 늘리면서도 빠른 보정으로 stale 격차를 메운다. “큰 모델은 가끔, 작은 보정은 자주"라는 분업이다.
TT-RTC는 다른 의미에서 매력적이다. 학습 단계만 손보면 끝나기 때문에 일단 학습된 정책은 추가 모듈 없이 그대로 배포된다. 실시간성이 절대적으로 중요한 시스템에서는 절대 성능보다 이 점이 더 큰 가치를 가질 수 있다.
왜 이런 비교가 의미 있나
VLA 분야는 지금 모델 크기에 매몰되기 쉬운 시기다. 7B·13B·30B 모델이 잇따라 발표되며 “더 큰 모델이 더 강하다"는 서사가 자리 잡았다. 하지만 로봇은 실시간 시스템이고, 모델이 크면 그만큼 추론 지연이 커지며 관측 stale 문제가 정확도를 깎는다.
이 논문은 “모델을 키우는 길” 옆에 “지연을 다루는 길“이 똑같이 중요하다는 점을 정량적으로 보여준다. 그리고 그 길에서 어느 도구가 어디서 강한지를 처음으로 같은 기준에서 비교했다.
저자는 모든 코드를 GitHub TheAyos/async-vla-inference에 공개했다.
실무자가 볼 핵심 포인트
| 구분 | 시사점 |
|---|---|
| 방법 선택 기준 | 절대 성능 우선이면 A2C2, 추론 오버헤드 0과 단순성 우선이면 TT-RTC |
| 저지연 환경 | IT-RTC도 경쟁력 있음. 단 chunk 길이 H 작게 유지 필수 |
| 고지연 환경 | A2C2·TT-RTC가 안전. IT-RTC는 위험 |
| 튜닝 비용 | VLASH는 학습 지연 범위 [0, d_max]에 따라 결과가 갈리니 배포 환경의 실측 지연을 먼저 측정 |
| 추론 호출 빈도 설계 | A2C2는 “큰 모델 가끔 + 보정 모듈 자주” 분업 가능 — 비용 절감 여지 |
| 재현 가능성 | 통일 코드베이스 공개로 후속 연구·산업 적용이 한층 쉬워짐 |
VLA가 산업용 로봇에 들어가려면 어느 시점에서는 모델 크기 경쟁이 아니라 모델·지연·하드웨어 예산의 통합 설계가 의사결정 축이 된다. 이번 논문은 그 설계 표를 처음으로 깔끔하게 그려준 자료에 가깝다.
원문 출처
원문: Understanding Asynchronous Inference Methods for Vision-Language-Action Models — Ayoub Agouzoul, arXiv:2605.08168, 2026.05.04 · 코드: TheAyos/async-vla-inference