PrefPI, 로봇 정책의 한계를 넘어서다

요약

출처: arXiv cs.RO · 2026년 10월 1일 공개

연구진은 PrefPI(Preference-Guided Policy Iteration)라는 프레임워크를 제시했습니다. 이는 로봇이 스스로 생성한 궤적에 대한 상대적 선호도만을 이용해 사전 학습된 생성형 로봇 정책을 유도하는 반복적 방법론입니다. 기존의 선호도 학습 방법이 주로 정책 내에서 이미 존재하는 모드를 날카롭게 만드는 데 초점을 맞췄다면, 이 연구는 초기 정책의 유효 지원 범위(effective support)를 넘어선 동작으로의 전환을 다룹니다. 즉, 초기 정책 하에서 드물게나 전혀 관찰되지 않는 원하는 동작으로 로봇을 유도하는 것이 핵심입니다.

핵심 아이디어는 선호도 학습을 선호도 조건부 생성 모델링으로 공식화하는 것입니다. 선호된 궤적이 조건부 분포를 정의하고, 이 분포와 더 넓은 행동 선험 분포 간의 밀도 비가 암묵적 선호도 신호를 제공합니다. 이 신호는 분류기 없는 유도(classifier-free guidance, CFG)를 통해 증폭됩니다. 이 선호도 조건부 모델링과 유도 단계를 반복함으로써 선호도 유도 정책 반복이 이루어지며, 이전에 접근할 수 없었던 동작으로의 점진적 개선이 가능합니다.

연구진에 따르면 PrefPI는 시뮬레이션과 실제 환경에서 확산 정책(diffusion policies)과 PI0.5 플로우 매칭 VLA 모두에서 제한된 피드백으로 상당한 행동 변화를 일으킵니다. 특히 실제 하드웨어에서 150개의 선호도 라벨링 궤적만으로 물체 운반 높이를 10.7cm에서 19.8cm로 높였습니다.

의의

이 연구는 로봇이 광범위한 재학습이나 완벽한 데모 데이터셋 없이 어떻게 동작을 개선할 수 있는지에 대한 중요한 도전 과제를 다룹니다. 기존의 강화 학습이나 모방 학습은 로봇이 원하는 동작에 이미 가까워야 유용한 피드백을 제공할 수 있는 경우가 많습니다. PrefPI는 초기 정책에 원하는 동작의 표현이 거의 없거나 전혀 없는 분포 외(out-of-distribution) 동작을 명시적으로 표적으로 삼아 이 한계를 벗어나고자 합니다. 이는 실제 배포 환경에서 로봇이 초기 학습 데이터에 완전히 포함되지 않은 새로운 작업이나 제약 조건에 적응해야 하는 경우가 많기 때문에 중요합니다. 절대적 보상 대신 상대적 선호도를 활용함으로써, 로봇 정책을 정교하게 만드는 더 확장 가능하고 인간 친화적인 방법을 제공합니다.

로봇의 해석

PrefPI는 완전한 재학습의 높은 계산 비용 없이 로봇 정책을 더 적응 가능하게 만드는 유망한 경로를 제시합니다. 초기 지원 범위를 넘어선 동작으로의 전환 능력은 더 유연하고 범용적인 로봇공학으로의 강력한 한 걸음입니다. 그러나 평가는 물체 운반 높이와 같은 특정 작업에 제한되어 있으며, 이 접근법이 더 복잡하고 다단계 작업으로 얼마나 잘 일반화되는지는 아직 명확하지 않습니다. 분류기 없는 유도(CFG)에 대한 의존성은 특히 고차원 행동 공간에서 반복 과정의 안정성에 대한 질문을 제기합니다. 더 넓은 범위의 작업과 더 긴 시간 범위의 동작에 대한 추가 검증이 실제 영향을 완전히 평가하는 데 필요할 수 있습니다.