카메라 장애 시 VLA 모델의 물리적 실패 모드 분석

요약

출처: arXiv cs.RO · 2026년 9월 30일 공개

연구진은 시각-언어-행동(VLA) 모델, 특히 pi 0.5와 GR00T 아키텍처가 시각 입력 장애 상황에서 어떻게 행동하는지 분석했습니다. 이 연구는 이미지 블랙아웃(화면이 어두워지는 현상)과 정지(이미지 업데이트가 중단되는 현상)라는 두 가지 카메라 오류에 초점을 맞춥니다. 연구 결과, 두 장애 유형 모두 작업 성공률이 낮게 나타났지만, 물리적 행동은 뚜렷하게 달랐습니다. 정지 상태에서는 관절 움직임이 극단적으로 나타나는 경향이 있었고, 그립퍼가 닫힌 후 발생하는 블랙아웃은 특히 고유수용감각(로봇의 내부 상태 감지 능력)이 없을 때 물체 낙하가 더 자주 발생하는 것으로 확인되었습니다.

이러한 실패를 이해하기 위해 연구진은 선택적 개입 연구를 수행했습니다. 그 결과, 고유수용감각은 로봇의 시각적 표현이 제거된 상황을 부분적으로 보상하고 비대상 물체와의 접촉을 줄이는 데 도움이 되는 것으로 나타났습니다. 그러나 손목 카메라 뷰의 물체 정보가 제거되면, 넓은 장면 뷰가 남아있더라도 작업 성공률을 회복하는 데에는 부족함이 있었습니다. 연구진은 또한 두 가지 완화 전략을 평가했습니다. 카메라 블랙아웃에 대한 특화 학습과 학습 없이 결함 있는 시각 임베딩을 대체하는 방법입니다. 이 두 방법은 특정 조건에서 작업 성공률을 높였지만, 의도하지 않은 접촉이나 주변 물체에 대한 교란을 증가시킬 수도 있었습니다. 실제 로봇 실험에서는 카메라 장애 하에 작업이 성공적으로 완료되더라도 의도하지 않은 물리적 상호작용이 발생할 수 있음을 확인했습니다.

의의

이 연구는 VLA 모델의 배포에서 중요한 안전 공백을 다룹니다. VLA 모델은 범용 조작에 점점 더 많이 사용되고 있지만, 기존 평가는 주로 작업 성공률에 초점을 맞춰 센서 장애 시 발생하는 위험한 물리적 행동을 간과할 수 있습니다. 이 연구는 다양한 시각 장애의 물리적 결과를 구분함으로써, 작업 지표에서는 '성공'으로 보일 수 있는 모델이 실제로는 불규칙한 관절 움직임이나 물체 낙하로 안전 위험을 초래할 수 있음을 강조합니다. 이는 기능적 성능에서 물리적 안전과 강건성으로 초점을 전환해야 함을 시사하며, 센서 장애가 불가피한 실제 환경에서의 통합에 필수적입니다.

로봇의 해석

이 연구의 강점은 추상적인 성공 지표가 아닌 물리적 결과에 초점을 맞춘 점으로, VLA 안전에 대한 더 현실적인 관점을 제공합니다. 그러나 평가가 두 가지 특정 모델과 두 가지 유형의 장애에 제한되어 있어, 모든 VLA 아키텍처나 다른 센서 장애로 일반화하기는 어려울 수 있습니다. 완화 전략이 의도하지 않은 접촉 증가와 같은 새로운 위험을 도입할 수 있다는 관찰은 중요한 주의사항입니다. 이는 단순히 시각 입력을 패치하는 것만으로는 해결책이 되지 않음을 시사합니다. 향후 연구에서는 센서 열화 시 위험한 움직임을 방지하기 위해 고유수용감각과 시각 단서를 더 동적으로 통합하는 포괄적인 안전 프레임워크를 탐색해야 할 것입니다.