WorldLine: 조작용 액션 기반 시각 시뮬레이터

요약

출처: arXiv cs.RO · 2026년 9월 30일 공개

연구진에 따르면 WorldLine은 실제 로봇 경험 수집의 높은 비용을 해결하기 위해 영상 생성 모델을 확장 가능한 시각 시뮬레이터로 활용합니다. 이 시스템은 이전 가능한 동역학 학습과 이질적인 액션 접지를 분리하여, 10,000시간 이상의 액션 없는 로봇 영상에서 조작 동역학을 학습합니다. 이후 10개 이상의 다른 로봇 플랫폼에서 수집한 2,000시간 이상의 액션 궤적을 사용하여 동역학을 접지하며, 이미지 공간 액션 표현을 통해 공통 제어 인터페이스를 제공합니다.

상호작용 민감 예측을 개선하기 위해 다중 뷰와 실패 사례가 강화된 학습 및 관계 정규화를 사용합니다. 로봇 중심의 소수 단계 증류는 액션에 중요한 운동을 보존하면서 효율적인 인과 롤아웃를 가능하게 합니다. 홀드아웃 및 도메인 외 설정에서 WorldLine은 강한 시각 품질과 로봇 운동 일치도를 유지합니다. 특히 실패 궤적에서 가장 강력한 베이스라인보다 로봇 마스크 IoU를 0.1626 개선했습니다. RoboTwin과 AgiBot에서 평균 74%의 정확도로 궤적 성공을 예측하며, 이는 가장 강력한 베이스라인보다 1%p 높습니다. RoboTwin 학습이나 적응 없이도 그 롤아웃는 직접 정책 실행보다 작업 성공률을 최대 21.4%p 높였습니다.

의의

실제 로봇 학습은 물리적 경험 수집과 후보 행동 평가에 드는 비용과 시간으로 인해 제한되는 경우가 많습니다. 기존의 액션 조건부 시뮬레이터는 주로 공유하기 어려운 희소한 플랫폼별 데이터에 의존하며, 호환되지 않는 제어 공간 사이에서 데이터를 나누기 어렵습니다. WorldLine은 이미지 공간 액션 표현을 사용하여 단일 모델이 여러 로봇 유형을 처리할 수 있게 함으로써 이 한계를 벗어나고자 합니다. 이는 영상 생성 모델이 시각적 타당성보다 정확한 액션 추종을 우선시하지 않는다는 일반적인 문제를 해결하면서, 물리적 실행 전에 액션 결과를 예측하는 더 확장 가능한 기반을 마련하는 것을 목표로 합니다.

로봇의 해석

동역학 학습과 액션 접지를 분리한 것은 다양한 로봇 플랫폼으로의 일반화 가능성을 높이는 중요한 아키텍처 선택일 수 있습니다. 보고된 로봇 마스크 IoU 및 작업 성공률 개선은 시뮬레이터가 특히 실패 사례에서 로봇-물체 상호작용의 미묘한 부분을 효과적으로 포착할 수 있음을 시사합니다. 그러나 대규모 영상 데이터에 대한 의존성과 복잡한 학습 파이프라인은 소규모 연구 그룹의 접근성을 제한할 수 있습니다. 테스트된 RoboTwin과 AgiBot 설정을 넘어선 고동적 또는 비구조화된 환경에서 성능 향상이 유지되는지는 아직 확인되지 않았습니다. 다양한 실제 시나리오에서의 추가 검증이 일반적 평가 도구로서의 견고성을 확인하는 데 필요할 것입니다.