훈련 없이 문장으로 로봇 동작 생성하는 'S³' 기법

문장 하나로 인간형 로봇을 원하는 대로 움직이게 하는 일은 생각보다 어렵습니다. 텍스트를 동작으로 바꿔주는 '텍스트-투-모션(text-to-motion)' 모델은 그럴듯한 사람의 움직임을 만들어내지만, 특정 로봇의 관절 구조나 무게, 균형 한계는 전혀 알지 못합니다. 반대로 로봇의 전신 동작을 실제로 따라 하게 만드는 '추적 제어기(tracking controller)'는 주어진 동작을 안정적으로 실행하지만, 그 동작이 로봇이 물리적으로 소화할 수 없는 것이라면 이를 스스로 고치거나 대안을 찾을 방법이 없습니다.

aiXiv에 게재된 논문 「Sample, Simulate, Select: Physics-in-the-Loop Text-to-Motion for Humanoids Without Training」은 이 간극을 새로운 모델을 훈련하지 않고도 좁힐 수 있다고 제안합니다. 연구진이 제시한 'Sample-Simulate-Select(S³)' 기법은 하나의 프롬프트에 대해 기존에 훈련된 텍스트-투-모션 모델로부터 N개의 후보 동작을 뽑아낸 뒤, 방향 일치 기반 역기구학(inverse kinematics)으로 이를 유니트리(Unitree) G1 인간형 로봇에 맞게 재조정합니다. 그 다음 사전 학습된 SONIC 추적 정책을 이용해 모든 후보를 강체 동역학 기반 물리 시뮬레이션에서 실행해보고, 로봇이 실제로 가장 잘 수행한 후보를 최종 선택합니다. 시뮬레이터 자체가 판정자 역할을 하기 때문에 이 방식은 구조적으로 N개 후보 중 최선의 결과, 즉 '이론적 상한'에 도달하게 되며, 연구진이 실제로 측정하고자 한 것은 훈련 없이 단일 샘플만 사용할 때와 이 상한 사이에 얼마나 큰 격차가 있는지였습니다.

실험 결과 그 격차는 상당했습니다. HumanML3D 벤치마크에서 계층적으로 추출한 200개 프롬프트에 대해 N=8로 실험한 결과, 직립 실행 성공률은 83.5%에서 89.5%로 상승했고, 더 엄격한 하드웨어 준비 기준을 통과한 동작 수는 33개에서 85개로 늘었습니다. 전체 4,184개 프롬프트로 구성된 테스트 세트에서도 직립 실행 성공률이 80.5%에서 89.5%로 비슷하게 향상됐습니다.

연구진은 더 저렴한 대안도 시도했습니다. 전체 물리 시뮬레이션 없이 동작만 보고 로봇이 넘어질지를 예측하는 '기구학적 검증기(kinematic verifier)'는 전체 데이터셋에서 성공과 실패 동작을 구분하는 데는 상당히 뛰어났지만(AUROC 0.90), S³가 얻은 성능 향상의 4분의 1 정도밖에 회복하지 못했습니다. 이는 한 프롬프트 내에서 후보들의 순위를 매기는 일이, 전체 동작을 성공·실패로 분류하는 일보다 훨씬 어렵다는 점을 시사합니다. 또한 선택 방식만으로는 해결할 수 없는 유형도 있었는데, 로봇의 골반을 낮추는 동작을 요구하는 프롬프트들이 그랬습니다. 다만 로봇으로 재조정된 데이터로 직접 훈련된 생성 모델은 이런 골반 낮추기 동작을 실제로 수행할 수 있어, 훈련 기반 접근법이 여전히 우위를 가지는 지점이 있음을 보여줬습니다.

연구진은 재조정 도구를 GMR이라는 다른 방식으로 교체해보기도 했는데, 두 방식의 실패 유형이 서로 겹치지 않아 상호 보완적이었고, 이를 함께 활용하면 N=8 기준 이론적 상한이 95.0%까지 올라갔습니다. 무엇보다 눈에 띄는 결과는, 시뮬레이션에서 하드웨어 준비 기준을 통과한 177개 동작 전부를 실제 G1 로봇에서 실행했더니 모두 서 있는 상태로 동작을 완료했다는 점입니다. 실제 하드웨어의 추적 오차는 시뮬레이션 예측치와 상관계수 r=0.94로 매우 유사하게 나타났습니다.

이번 연구는 언어 기반 인간형 로봇 동작 생성의 성능 향상이 반드시 추가 훈련을 통해서만 가능한 것은 아니며, 기존 모델과 물리 시뮬레이션을 더 영리하게 활용하는 것만으로도 특정 범위 내에서는 상당한 개선을 이끌어낼 수 있음을 보여줍니다.