EyeRobot 2.0, 능동 시선으로 정밀 조작

요약

출처: arXiv cs.RO · 2026년 10월 3일 공개

연구진은 단일 스테레오 카메라로 정밀한 양손 조작을 수행하는 프레임워크인 EyeRobot 2.0을 제안합니다. 인간 시각에서 영감을 받아, 시스템은 장면 내 특정 3D 지점에 시선을 집중시키기 위해 두 눈의 관점을 회전시킵니다. 이를 능동 시선 고정(AVF)이라고 하며, 이미지 중앙에 더 많은 시각 토큰을 할당하여 작업에 관련 있는 특징에 계산 자원을 집중하는 포비얼 처리를 수행합니다.

작업 수행 중 시선을 조율하기 위해 위계적 접근법을 사용합니다. 먼저 목표 물체에 조건을 부여하는 저수준 시선 서보잉 정책을 학습하고, 작업 진행 상황에 따라 고정점 목표를 출력하는 목표 선택자를 학습합니다. 두 모듈 모두 실제 데이터로 강화 학습을 통해 학습됩니다. 또한 그립퍼 정보를 고정점 기준 SE(3) 좌표계로 정규화하여 학습할 동작 분포의 크기를 줄입니다. 연구진은 7개의 실제 작업과 6개의 시뮬레이션 작업에 대해 텔레오퍼레이션 데이터를 수집하고, 1,000회 이상의 실제 로봇 실험과 1,800회 이상의 시뮬레이션 실험을 수행했습니다.

보도에 따르면, 손목 카메라를 제거하면 표준 정책의 성능이 크게 저하됩니다. 수동 스테레오만 사용할 경우 실제 환경에서의 성공률이 52%에서 27%로 떨어집니다. EyeRobot 2.0은 이 격차를 줄여 실제 환경에서 수동 스테레오보다 40%, 시뮬레이션에서 20% 높은 성능을 보입니다. 손목 카메라 시야가 명확할 때는 에고+손목 카메라 정책과 유사한 성과를 내며(69% 대 64%), 잡힌 물체가 손목 카메라를 가릴 때는 성공률을 두 배 이상 높였습니다(48% 대 22%).

의의

이 연구는 로봇 조작에서 흔히 발생하는 제약, 즉 정밀 제어를 위한 손목 카메라 의존성을 해결합니다. 손목 카메라는 그립퍼의 근접된 시야를 제공하지만, 조작 중인 물체에 의해 쉽게 가려지고 기계적 복잡성을 증가시킵니다. 능동 시선 제어로 이러한 센서의 부재를 보상할 수 있음을 보여줌으로써, 이 연구는 더 단순하고 견고한 카메라 구성을 위한 잠재적 경로를 제시합니다. 이는 능동 시각과 포비얼 처리라는 확립된 개념을 양손 작업이라는 어려운 영역에 적용한 것입니다.

로봇의 해석

이 방식의 강점은 가장 정보량이 많은 센서 시야가 차단되어도 높은 성공률을 유지할 수 있다는 점입니다. 가려진 상황에서 48%의 성공률은 손목 카메라 기준의 22%보다 훨씬 높아, 능동 시선이 혼잡하거나 장애물이 있는 환경에서 강력한 도구임을 시사합니다. 그러나 이 시스템은 강화 학습을 사용하는 위계적 학습 과정에 의존하며, 이는 계산적으로 집약적이고 조정하기 어려울 수 있습니다. 이 방식이 고도로 동적이거나 예측할 수 없는 물체 상호작용이 있는 작업으로 얼마나 잘 일반화되는지는 아직 확인되지 않았습니다. 결과는 유망하지만, 그 견고성을 확인하려면 더 다양한 작업과 환경에서의 추가 검증이 필요합니다.