인간 촉각 데이터로 로봇 손끝 감각 학습

연구진이 정교한 손동작이 필요한 로봇 작업을 위해 사람의 촉각 데이터를 활용하는 새로운 세계 모델(world model) 'DexTouch-WM'을 공개했습니다. 아카이브(arXiv)에 게재된 논문에 따르면, 이 모델은 로봇이 물체와 접촉했을 때 앞으로 어떤 영상과 촉각 신호가 나타날지 예측하도록 학습됩니다.

물건을 쥐거나 조작하는 등 접촉이 많은 작업을 로봇에게 가르치려면 대량의 실제 로봇 촉각 데이터가 필요한데, 이런 데이터는 수집 비용이 크고 특정 센서 하드웨어에 종속된다는 한계가 있습니다. DexTouch-WM은 이 문제를 사람 손에서 얻은 데이터로 보완하는 방식을 택했습니다.

Yan Qin, Yue Chen, Renjing Xu 등 연구진은 압력에 따라 전기 저항이 변하는 얇은 촉각 센서인 '유연 압저항식 배열'을 사람 손과 다지 로봇 손 양쪽에 동일한 배치로 부착했습니다. 이후 사람의 손동작을 로봇의 동작 공간으로 변환('리타겟팅')함으로써, 사람의 시연 데이터로 실제 로봇을 제어하는 것과 같은 예측 모델을 학습시킬 수 있게 했습니다.

이 시스템은 사전 학습된 영상 예측 모델과 촉각 전용의 경량 모듈을 결합한 구조로, 연구진이 '해부학적 인지 촉각 토큰(anatomy-aware tactile tokens)'이라 부르는 방식과 정렬된 동작 조건화를 통해 두 모듈을 연결합니다.

핵심 실험에서 연구진은 실제 로봇 학습 데이터를 5시간으로 고정한 채, 사람 상호작용 데이터를 0시간에서 100시간까지 늘려갔습니다. 사람과 로봇의 작업 종류가 서로 겹치지 않았음에도 불구하고, 처음 접하는 로봇 영역의 시각 정보, 물체 형태, 접촉 역학 예측 성능이 크게 향상됐습니다.

연구진은 이 세계 모델을 로봇 정책을 평가하는 대체 시뮬레이션 환경으로, 또한 실제 로봇 정책 학습을 위한 합성 궤적 생성기로도 시험했습니다. 이들은 확장 가능한 사람 촉각 데이터가 "손재주 있는 로봇 세계 모델 학습을 위한 보완적인 데이터 축을 제공한다"고 결론지었습니다.

이 논문은 IROS 2026 워크숍 'RoBoWoMo(로봇 세계 모델)'의 라이트닝 토크로 채택됐습니다.