RPG: 가중치 업데이트 없는 로봇 스킬 자율 개선

요약

출처: arXiv cs.RO · 2026년 10월 2일 공개

연구진은 모델 가중치를 수정하지 않고 로봇 실행 시스템을 자율적으로 개선하는 'Reconstruct, Practice, Go Real (RPG)' 프레임워크를 제시했습니다. 이 프레임워크는 다양한 작업을 수행하는 데 필요한 스킬 개발, 보상 설계, 인지-제어 통합에 드는 높은 인적 노력을 줄이는 것을 목표로 합니다. RPG는 오프라인 데이터셋에서 조작 능력을 식별하고 시뮬레이션 환경에서 관련 연습 과제를 구성합니다. 연습 과정에서 실행 피드백, 특권 시뮬레이터 상태, 데이터셋 비디오를 활용해 실패 원인을 진단합니다. 이 진단을 바탕으로 새로운 재사용 가능한 심볼릭 스킬을 개발하고, 기존 스킬을 정제하며, 시스템 프롬프트를 수정합니다. 개별 후보 변경 사항과 병합된 수정 사항은 재사용을 위해 유지되기 전에 크로스 태스크 평가를 거칩니다. 테스트 시점에서는 멀티모달 LLM이 생성된 시스템 프롬프트와 스킬 라이브러리를 사용해 인지 및 로봇 제어를 조정합니다.

연구진은 22개 조작 작업의 홀드아웃 초기화에서 성능 향상을 보고했습니다. 첫 번째 연습 라운드 후 28.6%였던 작업 성공률이 15라운드 후 95.0%로 상승했습니다. 이는 ASPIRE(75.5%)와 GPT-6 Astra Pro 기반 CaP-Agent0(60.0%)를 포함한 모든 평가된 베이스라인을 능가하는 결과입니다. 공통 캘리브레이션 및 하드웨어 적응 절차 후, 동결된 시스템은 3개 작업 각각 10회씩 총 30회의 물리적 시험에서 모두 성공했습니다.

의의

이 연구는 로봇공학의 지속적인 병목인 수동적인 보상 설계, 스킬 개발, 인지-제어 통합 과정을 해결하려는 시도입니다. 기존 접근법은 주로 인간의 개입에 의존하거나 신경망 가중치를 광범위하게 미세 조정해야 하며, 이는 계산 비용이 크고 작업이 변화함에 따라 유지보수가 어렵습니다. RPG는 가중치 업데이트 대신 심볼릭 스킬 정제와 프롬프트 엔지니어링을 통해 자율적 개선을 추구하며, 이는 내재된 AI에서 고수준 추론과 스킬 구성을 활용하여 로봇의 적응성을 높이는 최근 트렌드와 일치합니다. 시뮬레이션을 연습과 진단에 활용하는 방식은 다양한 조작 작업에서 로봇 신뢰성을 높이는 확장 가능한 경로를 제공합니다.

로봇의 해석

RPG의 주요 강점은 가중치 업데이트의 계산 오버헤드 없이 상당한 성능 향상을 달성할 수 있다는 점으로, 이는 빠른 반복에 더 접근하기 쉬울 수 있습니다. 28.6%에서 95.0%로 성공률이 상승한 것은 인상적이며, 물리적 시험에서의 성공은 제안된 캘리브레이션 절차로 시뮬레이션-현실 간 격차를 관리 가능하게 한다는 것을 시사합니다. 그러나 평가는 22개 조작 작업과 30회 물리적 시험으로 제한되어 있어, 실제 환경의 복잡성을 완전히 반영하지 못할 수 있습니다. 심볼릭 스킬 라이브러리가 오프라인 데이터셋과 크게 다른 작업으로 얼마나 잘 일반화되는지는 아직 명확하지 않습니다. 향후 연구에서는 더 다양한 작업과 동적이며 비구조화된 환경에서 프레임워크를 테스트하여 강건성을 검증해야 합니다. 또한 진단에 특권 시뮬레이터 상태에 의존하는 것은 이러한 상태가 이용 불가능한 시나리오에서의 적용성을 제한할 수 있습니다.