EgoAlign: 인간 데모를 휴머노이드 학습 데이터로

요약

출처: arXiv cs.RO · 2026년 9월 30일 공개

연구진은 인간 데모와 휴머노이드 로봇 제어 사이의 격차를 줄이기 위해 EgoAlign 프레임워크를 제시했습니다. 핵심 문제는 인간의 신체 규모와 컨트롤러 반응이 휴머노이드 로봇과 크게 달라서 직접 모방이 어렵다는 점입니다. EgoAlign은 목표 로봇 모델과 시뮬레이터를 사용하여 실행 피드백을 통해 인간 데모 수집을 안내합니다.

이 과정은 시각적으로 유도된 주기적인 보행을 위한 로코메이션(이동) 레퍼런스를 유지하면서, 스케일 정렬과 컨트롤러-인-더-루프(제어 루프 내) 정제를 통해 상체 상호작용 기하학을 조정합니다. 최종적으로 인과적 리플레이를 통해 해당하는 로봇 상태와 모션 토큰 라벨을 재구성합니다. 연구진에 따르면, 적응된 인간 데모만으로 비전-언어-액션 모델을 파인튜닝하면 물리적 휴머노이드에 제로샷으로 배포할 수 있습니다. 결과된 정책은 장거리 물체 재배치, 미확인 목표 위치로의 내비게이션, 독립적으로 평가된 발 상호작용을 성공적으로 수행했습니다. 연구진은 이 정제가 운동학적 정렬만 있는 경우보다 시뮬레이션 손 정렬과 물리적 집기 성공률을 높이며, 텔레오퍼레이션에 비해 현장 수집 시간을 줄인다고 보고했습니다.

의의

휴머노이드 로봇의 고품질 학습 데이터 수집은 전통적으로 텔레오퍼레이션이나 광범위한 시뮬레이션에 의존해 왔으며, 이는 시간과 자원이 많이 소요됩니다. 이 연구는 인간 중심 데이터를 활용해 로봇을 훈련시키는 최근 추세에 기반하여, 임베디먼트(구현체) 불일치라는 핵심 문제를 해결합니다. 시뮬레이터-인-더-루프 정제를 활용함으로써, 범용적이고 연속적인 전체 몸체 컨트롤러와 호환되는 감독 신호를 생성하는 더 확장 가능한 경로를 제시합니다. 이는 물리적 로봇 데모에 대한 의존도를 줄여 휴머노이드의 다재다능한 능력 개발을 가속화할 수 있어 로봇공학계에 중요한 의미를 갖습니다.

로봇의 해석

EgoAlign의 강점은 물리적 로봇 데모 없이 접근 가능한 인간 데이터를 로봇 호환 감독 신호로 변환할 수 있다는 점입니다. 이는 복잡한 로코-매니퓰레이션(이동-조작) 스킬 훈련에 대한 진입 장벽을 크게 낮출 수 있습니다. 그러나 정제를 위해 시뮬레이터 피드백에 의존하는 것은 복잡한 물리적 상호작용을 포함하는 작업에서 시뮬레이션-실세계 격차에 대한 질문을 제기합니다. 연구진은 제로샷 배포의 성공을 보고했지만, 테스트된 세트 밖의 새로운 환경이나 물체에 대한 정책의 일반화 가능성은 아직 확인되지 않았습니다. 향후 연구에서는 인간과 로봇의 동역학이 더 크게 발산하는 동적이고 비구조화된 환경에서 이 프레임워크가 얼마나 잘 작동하는지를 탐구해야 할 것입니다.