DexRoam: 인간 시연으로 배우는 이동형 양손 조작

요약

출처: arXiv cs.RO · 2026년 9월 29일 공개

이동형 양손 민첩 조작은 하나의 궤적 내에서 이동, 전신 동작, 손가락 수준의 민첩성을 지속적으로 조율해야 하므로 로봇 데모 수집에 심각한 병목을 일으킵니다. 연구진은 전신 동작이 인간에서 로봇으로의 전이 과정에서 지속적으로 결합된 상태로 유지되도록 하는 DexRoam 시스템을 제시합니다.

대규모 인간 조작 데모 수집을 위해, 외부 카메라나 모션 트래커 없이 소비자용 VR 헤드셋과 헤드마운트 스테레오 카메라만 사용하는 무트래커 캡처 시스템을 개발했습니다. 이후 구체, 동작 의미, 시간의 3가지 명시적 정렬 단계를 수행하여 캡처된 동작을 로봇의 동작 공간으로 매핑합니다. 이를 통해 인간과 로봇 데모가 표준 VLA(비전-언어-행동) 정책으로 공동 학습될 수 있습니다.

실제 로봇 실험 결과, 인간 데모는 학습 패러다임 전반에서 정책 학습을 일관되게 향상시킵니다. GR00T N1.7 백본에서는 평균 성공률이 29%에서 56%로, pi0.5에서는 32%에서 57%로 상승했습니다. 또한 로봇 데모만 사용한 학습과 동일한 성능을 달성하면서 로봇 데모 양을 절반으로 줄였습니다. 아블레이션 실험은 각 정렬 단계가 모두 필수적임을 확인했습니다.

의의

이 연구는 복잡한 전신 작업에서 고품질 로봇 데모가 부족한 핵심 문제를 해결합니다. 기존의 접근법들은 전이를 쉽게 하려고 인간 동작을 단순화하는 경향이 있었지만, 이는 민첩 조작에 필요한 정교하고 결합된 구조를 제거하는 결과를 낳았습니다. DexRoam은 인간 동작의 완전한 복잡성을 보존함으로써 수동 로봇 텔레오퍼레이션에 대한 의존도를 줄이고, 이동형 매니퓰레이터의 학습 효율을 높이는 새로운 경로를 제시합니다.

로봇의 해석

DexRoam의 강점은 실용적인 데이터 수집 파이프라인에 있습니다. 소비자용 VR 헤드셋과 헤드마운트 카메라를 사용함으로써 고가의 모션 캡처 장비 없이도 확장 가능한 데이터 수집이 가능해집니다. 성공률이 약 30%에서 약 56%로 크게 상승한 것은 인간 데이터가 단순한 보조재료가 아니라 복잡한 조작 학습에 필수적임을 보여줍니다.

그러나 이 결과는 특정 VLA 백본(GR00T N1.7, pi0.5)과 정렬 단계의 성공에 크게 의존합니다. 이 접근법이 현저히 다른 로봇 구조나 더 높은 민첩성이 요구되는 작업으로 얼마나 잘 일반화되는지는 아직 확인되지 않았습니다. 아블레이션 연구는 긍정적인 신호이지만, 다양한 로봇 플랫폼에 대한 더 넓은 테스트가 방법의 강건성을 확인하는 데 필요합니다.