RAPID: 사람 시연 한 번으로 로봇 프로그램을 스스로 작성

로봇공학 및 인공지능 연구진이 사람의 시연 영상 단 한 개만으로 로봇이 스스로 실행 프로그램을 작성하도록 하는 프레임워크 'RAPID(Robot Agentic Programming from Demonstrations)'를 발표했습니다. 아카이브(arXiv)에 게재된 새 논문에 따르면, 이 시스템은 시연 영상을 관찰한 뒤 그 동작을 재현하는 실행 코드를 자동으로 생성하고 검증합니다.

RAPID의 핵심 아이디어는 복잡한 프로그래밍 문제를 반복적으로 코드를 작성·테스트·수정하며 풀어내는 'AI 코딩 에이전트'의 방식을 로봇에 적용한 것입니다. 시연 영상 한 개를 입력받으면 RAPID는 프로그램 제작과 디버깅에 필요한 세 가지 요소를 자동으로 추론합니다. 검증 가능한 작업 명세(테스트 기준), 로봇이 실행할 수 있는 동작 기본 단위(액션 프리미티브), 그리고 생성된 코드를 실행하고 검증할 수 있는 상호작용형 시뮬레이션 환경이 그것입니다.

이 시스템은 관찰한 동작을 그대로 재생하는 대신, 연구진이 '객체 중심 관계형 프로그램 표현(object-centric relational program representation)'이라 부르는 방식을 사용합니다. 즉 특정 관절 궤적을 그대로 기억하는 것이 아니라, 물체들이 서로 어떤 관계로 움직여야 하는지 그 전략의 구조 자체에 초점을 맞춥니다. 구체적으로 액션 프리미티브는 물체 수준의 원하는 움직임 결과를 만들어내는 '궤적 최적화(trajectory-optimization) 프로그램'으로 표현되며, 이들 프리미티브는 실행 시점에 장면별 기하학적 조건을 반영하는 '관계형 제약 조건(relational constraints)'을 통해 조합됩니다. 이러한 구조 덕분에 한 번의 시연으로 만든 프로그램이 물체의 자세, 형태, 재질, 주변 환경이 바뀌어도 계속 작동할 수 있습니다.

연구진은 시뮬레이션 환경에서 물체를 붙잡지 않고 밀거나 넘어뜨리는 등 접촉이 많은 '비파지(nonprehensile) 조작' 과제 8종에 대해 RAPID를 평가했습니다. 이런 과제는 정밀 제어가 까다로운 것으로 알려져 있습니다. 또한 물체를 붙잡아 다루는 일반적인 파지(prehensile) 조작 과제에 대해서는 LIBERO-Pro 벤치마크를 이용해 테스트했습니다. 시뮬레이션을 넘어 실제 프랑카(Franka) 로봇팔에도 RAPID를 배포해 8종의 비파지 조작 과제 전체를 평가했습니다.

연구진은 이 모든 실험에서 RAPID가 강력한 성능을 보였으며, 각 변형 상황마다 새로운 시연 없이도 물체의 자세, 형태, 재질, 환경 변화에 걸쳐 일반화가 이뤄졌다고 밝혔습니다. 이 논문은 Yuyao Liu 등이 포함된 연구팀이 작성했으며, 2026년 9월 24일 arXiv의 로보틱스(cs.RO) 분야에 제출됐고 인공지능(cs.AI), 컴퓨터 비전(cs.CV) 분야에도 함께 등록됐습니다.

이번 연구는 코드를 작성·실행·자가 수정하는 AI 에이전트 기법을 실제 로봇 동작 제어에 직접 적용하려는 흐름을 보여줍니다. 이러한 접근이 성숙하면, 하나의 시연만으로도 재사용 가능하고 일반화된 로봇 기술을 만드는 데 필요한 작업별 엔지니어링 부담이 줄어들 수 있습니다.