BeyondRetarget: 영상에서 로봇 동작 직접 생성

요약

출처: arXiv cs.RO · 2026년 9월 24일 공개

보도에 따르면, 기존 휴머노이드 로봇 학습 파이프라인은 주로 두 단계로 구성됩니다. 먼저 영상에서 인간 동작 표현을 추정하고, 이를 로봇의 관절 구성에 맞게 리타겟팅(retargeting, 로봇의 물리적 구조에 맞게 동작을 변환하는 과정)하는 방식입니다. 연구진은 이 방식이 두 가지 주요 문제를 가진다고 지적합니다. 첫째, 인간과 로봇의 보행 메커니즘과 관절 자유도 구성의 차이로 인해 리타겟팅된 동작이 로봇에서 실행하기 어렵다는 점입니다. 둘째, 초기 인간 동작 추정 단계에서 발생한 오류가 최종 로봇 동작으로 전파되며, 관절 최적화를 통해 제거할 수 없다는 점입니다.

이를 해결하기 위해 연구진은 BeyondRetarget을 제안했습니다. 이는 단안 RGB 영상을 로봇 동작으로 직접 매핑하는 끝에서 끝(end-to-end) 프레임워크입니다. 명시적인 인간 표현을 제거하고 시각 관찰로부터 로봇 지향적 암시적 표현을 학습함으로써, 로봇의 형태에 적합한 동작 구조를 포착할 수 있습니다. 또한, 시간적 일관성과 물리적 실현 가능성을 높이기 위해 접촉 인지 동작 최적화 메커니즘을 설계했습니다. 연구진은 시뮬레이션 환경과 실제 휴머노이드 로봇에서의 실험을 통해, BeyondRetarget이 생성된 동작의 정확도와 견고성을 크게 향상시키고, 기존 방법보다 높은 실행 성공률과 낮은 지연 시간을 달성했다고 보고했습니다.

의의

이 연구는 휴머노이드 로봇학의 핵심 병목인 인간 데모 데이터와 로봇 실행 가능 동작 사이의 간극을 해결하려는 시도입니다. 전통적인 리타겟팅 방법은 정확한 인간 자세 추정에 의존하지만, 이는 종종 노이즈가 많고 로봇의 물리적 제약을 고려하지 못합니다. BeyondRetarget은 영상에서 로봇 동작으로의 직접 매핑을 학습함으로써, 더 견고하고 확장 가능한 파이프라인을 제공합니다. 이는 대규모 인간 영상 데이터를 활용하여 로봇을 훈련시키는 데 특히 중요하며, 비용이 많이 들고 시간이 걸리는 수동 텔레오퍼레이션이나 시뮬레이션 기반 훈련의 필요성을 줄일 수 있습니다.

로봇의 해석

두 단계 리타겟팅 파이프라인에서 직접 끝에서 끝 매핑으로의 전환은 더 견고한 동작 생성으로 가는 유망한 단계입니다. 로봇 특화 암시적 표현을 학습함으로써, 모델은 인간 몸체에 강제로 적용된 동작이 아니라 로봇의 물리적으로 실현 가능한 동작 패턴을 포착할 수 있습니다. 접촉 인지 최적화 메커니즘의 포함은 동적 움직임에서 물리적 일관성의 필요성을 직접적으로 해결하는 강력한 추가 요소입니다. 그러나 추상에서는 구체적인 정량적 지표나 최첨단 베이스라인과의 비교가 제공되지 않아, 정확도와 견고성 향상의 정도가 완전히 명확하지는 않습니다. 또한 단안 영상에 대한 의존은 가림(occlusion)이나 복잡한 다중 에이전트 시나리오를 처리하는 능력을 제한할 수 있습니다. 향후 연구는 더 다양하고 도전적인 실제 환경에서 시스템을 검증하여 실용성을 확인하는 데 초점을 맞춰야 합니다.