뉴로메카, 손목 카메라 없는 정밀조작 AI 개발

원문 요약

출처: 로봇신문 · 2026년 10월 2일 보도

보도에 따르면, 뉴로메카와 KAIST 김민준 교수 연구팀은 휴머노이드 로봇이 손목 카메라 없이 정밀한 조작을 수행할 수 있는 피지컬 AI 기술인 SCDP(Spatially Conditioned Diffusion Policy)를 공동 개발했습니다. 이 기술은 머리에 장착된 RGB 카메라 한 대의 영상만으로 로봇의 양손 움직임을 제어합니다. 연구팀은 뉴로메카의 휴머노이드 로봇 에이르(EIR)를 이용해 겹쳐진 종이컵을 양손으로 분리하는 작업을 성공적으로 수행했으며, 관련 논문은 CoRL 2026 학술대회에 채택되었습니다.

SCDP의 핵심은 로봇의 예상 손끝 이동 경로를 이용해 시각 정보에서 필요한 부분만 선택적으로 추출하는 방식입니다. 카메라가 넓은 작업 공간을 한꺼번에 촬영할 때 조작에 필요한 작은 영역의 정보가 부족할 수 있는 문제를 해결하기 위해, 학습된 시연 데이터 기반의 손 이동 경로를 영상에 투영하고 해당 영역 주변의 시각적 특징을 추출합니다. 또한 단일 해상도가 아닌 여러 해상도의 시각 정보를 함께 활용하여 작업 공간 전체의 맥락과 물체 접촉 세부 영역을 동시에 파악하도록 설계되었습니다. 실제 실험에서는 에이르 로봇이 머리 카메라만으로 겹쳐진 컵을 분리하고, 프랑카 판다 로봇팔이 외부 고정 카메라 한 대로 리모컨에 배터리를 삽입하는 정밀 조작을 수행했습니다.

메타-월드(Meta-World) 시뮬레이션에서의 성능 검증 결과, 작업별 시연 데이터 20개로 학습한 SCDP 모델은 네 가지 난이도 그룹에서 모두 평균 성공률 80% 이상을 기록했습니다. 특히 난도가 높은 '하드(Hard)' 그룹의 6개 작업에서는 SCDP가 평균 82.5%의 성공률을 보인 반면, 손목 카메라를 추가한 디퓨전 폴리시는 74.2%로 SCDP가 8.3%포인트 높은 결과를 나타냈습니다. 시각적 방해물이 있는 환경에서의 프랑카 판다 로봇팔 컵 잡기 실험에서는 SCDP가 컵 손잡이 잡기 85%, 컵 벽면 잡기 80%의 성공률을 기록했으며, 같은 조건에서 디퓨전 폴리시는 각각 30%와 65%로 SCDP가 월등히 높은 성능을 보였습니다.

맥락

로봇의 시각 기반 모방학습에서는 작업 공간을 촬영하는 외부 카메라와 함께 로봇 손목에 카메라를 장착하는 방식이 널리 활용되어 왔습니다. 손목 카메라는 로봇 손이 물체에 접근할수록 접촉 부위를 가까운 거리에서 관찰할 수 있어 배터리 삽입이나 부품 조립처럼 높은 정밀도가 요구되는 작업에 유리합니다. 그러나 산업 현장에서는 손목 카메라가 오히려 제약 요인이 될 수 있습니다. 카메라와 고정 장치가 손목 주변의 공간을 차지하고 추가적인 배선이 필요하기 때문에, 협소한 설비 내부나 부품이 밀집된 조립 공간에서는 지그 또는 주변 설비와 간섭하거나 로봇의 접근 각도를 제한할 가능성이 있습니다.

휴머노이드 로봇이 기존 제조설비와 사람용 공구를 그대로 활용하려면 손 주변의 구조물을 최대한 단순화하는 것이 중요합니다. 뉴로메카와 KAIST 연구팀은 이 문제를 AI 기반 시각정보 처리 방식으로 해결하고자 했습니다. 로봇에 카메라를 더 많이 장착하는 것에서 하나의 카메라에서 AI가 필요한 정보를 얼마나 효과적으로 찾아내느냐로 로봇 시각기술의 초점을 이동시키는 것이 이번 연구의 방향입니다.

로봇의 해석

이번 연구는 시각센서의 하드웨어 구성을 단순화하면서도 정밀 조작 성능을 확보할 가능성을 제시했다는 점에서 주목됩니다. 머리 카메라 중심의 시각 시스템이 안정적으로 작동한다면 로봇의 손과 손목을 보다 단순하게 설계할 수 있으며, 센서와 배선 감소는 하드웨어 구조뿐 아니라 유지보수와 내구성 측면에서도 중요한 고려 사항이 될 수 있습니다. 이는 휴머노이드 로봇이 제조 현장에 본격적으로 투입되기 위한 핵심 경쟁력으로 부상할 수 있습니다.

그러나 동적이고 복잡한 환경에서의 장기적 신뢰성은 아직 검증되지 않았습니다. 시뮬레이션과 통제된 실외 실험에서 promising한 결과를 보였지만, 다양한 물체와 작업으로의 일반화 능력은 다음 주요 과제입니다. 조명 조건이 변하거나 물체 특성이 학습 데이터와 크게 다를 때 시스템이 얼마나 잘 작동하는지는 아직 확인되지 않았습니다. 다음 단계는 더 복잡하고 구조화되지 않은 산업 환경에서 이 기술을 테스트하는 것이 될 것입니다.