메이트(MATE), 원격 협업으로 휴머노이드 로봇 학습 데이터 구축

휴머노이드 로봇들이 서로 협력하도록 학습시키는 일은 그동안 물리적 다중 로봇 환경을 구축하는 데 드는 막대한 비용과 번거로움에 발목이 잡혀 있었습니다. 여러 대의 고가 로봇과 전용 실험 공간, 반복되는 초기화 작업이 필요했기 때문입니다. 최근 arXiv에 공개된 한 논문은 이러한 제약을 아예 시뮬레이션 안으로 옮겨 해결하려는 시스템, '메이트(MATE, Multi-Agent virtual TEleoperation platform)'를 소개합니다.

논문에 따르면 메이트는 서로 다른 위치에 있는 여러 조작자가 하나의 공유된 물리 기반 가상 환경 안에서 동시에 전신(whole-body) 휴머노이드 로봇을 조종할 수 있게 해줍니다. 협업 데이터를 유의미하게 만드는 물리적 사실성—휴머노이드와 물체, 환경이 서로 밀고 붙잡고 반응하는 방식—은 그대로 유지하면서도, 여러 대의 실제 로봇이나 한 공간에 모인 조작자들이 필요 없도록 만든 것이 특징입니다.

연구진은 이 플랫폼을 활용해 총 2,500개의 결합 에피소드(joint episodes)에 걸쳐 24.1시간 분량의 다중 휴머노이드 협업 행동 데이터셋을 구축했습니다. 이 데이터셋은 논문에서 '다섯 가지 장기 과제(long-horizon tasks)'라고 소개된 시나리오들로 구성되며, 물체 전달(handover), 릴레이 배달, 환경과의 상호작용, 협력 운반 등이 포함됩니다. 이런 과제들은 로봇들이 각자 독립적으로 움직이는 것이 아니라 서로의 동작 타이밍을 맞춰야 하는 상황을 다룹니다.

연구진은 이처럼 상호작용이 풍부한 데이터를 효율적으로 학습시키기 위해 'EAIS(Execution-Aligned Interaction Sampling)'라는 샘플링 기법도 함께 제안했습니다. EAIS는 논문이 '실행 정렬 프리픽스(execution-aligned prefix)'라고 부르는 구간 안에서 샘플링 신호를 계산하고, 과제 진행에 실질적으로 기여하거나 로봇 간 상호작용이 중요한 순간을 우선적으로 뽑아내는 방식입니다. 즉 시연 데이터의 모든 프레임을 동등하게 다루는 대신, 로봇들이 실제로 협력하는 핵심 장면에 학습이 더 집중되도록 하는 것입니다.

연구진은 모방 학습(imitation learning) 기법과 비전-언어-행동(vision-language-action, VLA) 정책 등 대표적인 방법들로 메이트가 수집한 데이터를 평가했습니다. 논문에 따르면 다양한 협업 과제에서 효율적인 데이터 수집과 효과적인 정책 학습이 확인됐습니다. 특히 눈에 띄는 결과는 '제로샷 전이(zero-shot transfer)'로, 가상 환경에서 수집한 시연 데이터만으로 학습한 정책이 실제 휴머노이드 로봇에서 추가적인 실물 미세조정(fine-tuning) 없이 곧바로 작동했다는 점입니다.

이번 연구는 휴머노이드 로봇 개발에서 텔레오퍼레이션과 시뮬레이션이 전신 조작 및 보행 정책 학습에 필요한 대규모 체화(embodied) 데이터를 만드는 핵심 수단으로 점점 더 널리 쓰이는 흐름과 맞닿아 있습니다. 연구진은 기존 데이터 수집 파이프라인 대부분이 단일 로봇에 초점을 맞춰왔다고 지적하며, 메이트는 여러 대의 실제 휴머노이드를 동시에 운용하는 부담 없이도 진짜 다중 로봇 협력을 담아내는 데 목표를 두고 있다고 설명합니다.

이 논문은 'MATE: Multi-Agent Virtual Teleoperation Platform for Humanoid Collaboration Data Collection'이라는 제목으로 arXiv 로보틱스 분류(cs.RO)에 arXiv:2609.26520 식별번호로 게재됐습니다. 논문에는 추가 정보를 담은 프로젝트 페이지가 언급돼 있으나, 초록만으로는 정확한 주소를 확인할 수 없었습니다.