촉각으로 물체 물성 파악하는 로봇 그리퍼 'ViTacPhys'

대부분의 학습 기반 로봇 조작 시스템은 물체가 얼마나 무겁거나 미끄러운지 같은 물리적 특성을 명시적으로 고려하지 않고, 시각 정보에만 의존해 잡는 방식을 결정합니다. 최근 arXiv에 게재된 한 논문은 이러한 한계를 해결하기 위해 시각과 촉각 신호를 결합해 물체의 물리적 속성을 직접 추정하고, 이를 그립(잡기) 정책에 반영하는 프레임워크 'ViTacPhys'를 소개했습니다.

논문에 따르면 ViTacPhys는 데이터 수집 시스템이자 학습 프레임워크입니다. 사람이 물체를 조작하는 시연 과정에서 시각 영상과 촉각 센서 신호를 동시에 기록해, 물체의 무게 등급, 마찰계수 등급, 그리고 연속적인 강성(단단함 정도) 값을 추정합니다. 내부적으로는 시간에 따른 시각-촉각 정보를 모델링하는 기법과 교차 주의(cross-attention) 방식의 다중 모달 융합을 결합했으며, 모호한 상황을 해석하기 위해 비전-언어 모델(이미지와 텍스트를 함께 이해하는 인공지능 모델)에서 얻은 의미적 사전 정보도 추가로 활용했습니다.

연구진은 딱딱한 물체와 부드럽거나 말랑한 재질의 변형 가능한 물체를 포함해 총 60종의 물체로 데이터를 수집해 시스템을 학습시켰습니다. 학습 과정에서 이미 본 물체에 대해서는 무게 분류 정확도 97.2%, 마찰계수 분류 정확도 98.8%를 기록했고, 강성 추정의 평균절대백분율오차(MAPE, 실제값 대비 오차 비율)는 5.51%에 그쳤습니다. 학습 때 보지 못한 새로운 물체(단, 이미 학습한 범주에 속하는 물체)에서도 성능 저하는 크지 않아, 무게 정확도 87.5%, 마찰계수 정확도 97.5%, 강성 MAPE 9.08%를 기록했습니다.

연구진은 이후 사람 시연 데이터로 학습한 시스템을 실제 로봇에 적용하는 단계로 넘어갔습니다. 로봇의 하드웨어, 카메라, 동작 패턴이 사람의 손과 다르기 때문에 이 과정에서 성능이 떨어지는 경우가 많은데, 이를 보완하기 위해 제한된 양의 로봇 원격조작(텔레오퍼레이션) 데이터, 사람 시연 영상을 로봇처럼 보이게 가공하는 영상 증강 기법, 그리고 로봇의 동작 패턴에 맞춘 사람 시연 데이터를 함께 활용했습니다. 최종적으로 완성된 모델은 추정된 물리적 속성을 실시간으로 반영해 그립 정책을 조정하는 온라인 모듈 형태로 작동합니다.

실제 로봇 실험에서 이 물성 인식 기반 그립 정책은 학습 데이터와 유사한 분포 내 물체에 대해 95.0%의 파지 성공률을, 한 번도 접하지 않은 분포 밖 물체에 대해서는 83.4%의 성공률을 기록했습니다. 논문은 힘 프로파일(잡는 동안 가해진 힘의 변화 양상)도 비교했는데, ViTacPhys와 비교 대상인 ACT(Action Chunking Transformer)라는 기존 방식이 모두 성공적으로 잡은 분포 밖 물체에 대해, ViTacPhys가 적용한 힘이 사람 원격조작자가 사용한 힘과 더 유사했다고 밝혔습니다. 이는 일률적인 세기로 잡는 대신 물체에 맞춰 적응적으로 그립 강도를 조절했다는 의미로 해석됩니다.

연구진은 이러한 결과가 무게, 마찰, 강성 같은 물리적 속성을 명시적으로 추정하고 이를 그립 동작 조절에 직접 활용하는 방식이 실제 환경에서도 충분히 실현 가능하다는 점을 보여준다고 설명했습니다. 이는 시각 정보만으로 암묵적으로 학습하는 기존 방식과 대비됩니다. 제1저자 Yiwen Liu가 제출한 이 논문은 11페이지 분량에 그림 7개를 포함하고 있으며, 추가 자료를 담은 프로젝트 페이지 링크도 함께 제공됐다고 arXiv 등재 정보에 나와 있습니다.

다만 이번 결과는 아직 동료 평가(피어 리뷰)를 거치지 않은 프리프린트 논문에서 나온 수치이며, 통제된 실험실 환경과 60종의 한정된 물체 범위를 벗어난 실제 현장에서도 동일한 수준의 성능이 재현될지는 지켜볼 필요가 있습니다.