시각과 촉각 함께 배우는 로봇 조작 AI 'VT-MUSE'

연구진이 로봇 조작 작업에서 시각과 촉각 정보를 보다 긴밀하게 결합하는 새로운 학습 프레임워크 'VT-MUSE(Multimodal Unified SEquential representation learning)'를 제안했습니다. arXiv(cs.RO) 보도에 따르면, 이 방식은 로봇이 물체를 만지고 다룰 때 '보는 것'과 '느끼는 것'을 시간 흐름까지 고려해 함께 학습하도록 설계됐습니다.

기존의 시각-촉각(visuotactile) 인식 방식은 대개 시각 정보와 촉각 정보를 각각 따로 처리한 뒤 나중에 합치는 구조여서, 두 감각 사이의 미세한 연관성을 놓치기 쉬웠습니다. 또한 현재 순간의 정보에만 집중해, 로봇이 물체를 잡거나 조작하는 동안 접촉 상태가 시간에 따라 어떻게 변하는지는 잘 반영하지 못했습니다. VT-MUSE는 두 단계 구조로 이 문제를 해결합니다.

1단계에서는 시각과 촉각을 각각 처리하는 인코더(입력 데이터를 특징 벡터로 변환하는 모듈)를 함께 학습시키되, 두 감각 사이의 시간적 정렬(cross-modal temporal alignment)과 가려진 화면 간 일관성(masked-view consistency)을 활용해 서로 호환되는 표현을 만들도록 합니다. 2단계에서는 조건부 변분 잠재 모델(conditional variational latent model)이 일부가 가려진 시각 영상 시퀀스와 전체 촉각 이력을 함께 입력받습니다. 이때 보조 디코더가 가려진 최근 시각 정보를 복원하고 촉각 깊이 변화를 예측하도록 학습시켜, 학습된 표현이 전체적인 시각 맥락과 미세한 접촉 역학을 동시에 담도록 유도합니다.

이렇게 만들어진 통합 표현은 게이트형 교차 주의(gated cross-attention) 메커니즘을 통해 경량 트랜스포머 기반 제어 정책에 전달되어, 로봇의 행동 결정에 시각과 촉각 정보를 필요에 따라 활용할 수 있게 합니다.

논문에 따르면 VT-MUSE는 시뮬레이션 벤치마크의 모든 과제에서 기존 최강 베이스라인 대비 11%포인트 앞서는 성능을 보였으며, 실제 환경(real-world) 실험에서도 상당한 개선을 달성했습니다. 다만 구체적인 과제명이나 벤치마크 세부 사항, 실제 환경 실험의 정확한 수치는 현재 확보된 발췌 내용에는 포함되어 있지 않습니다.

이 연구는 콩셩 쉬(Congsheng Xu)가 주저자로 참여했으며, 2026년 8월 21일 arXiv에 로보틱스(cs.RO) 및 컴퓨터 비전(cs.CV) 분야로 게재됐습니다. 이는 조립, 부드러운 물체 파지, 정교한 손동작 등 접촉이 많은 작업에서 로봇이 사람처럼 시각과 촉각을 통합적으로 활용하도록 만들려는 최근 연구 흐름의 연장선에 있습니다.