고정된 월드 모델, 먼 목표 대신 가까운 목표를 겨냥하면 더 잘 계획한다

시각적 월드 모델을 이용해 계획을 세우는 로봇은 보통 여러 미래 상황을 미리 상상한 뒤, 예측된 결과가 최종 목표 이미지와 가장 비슷한 행동을 선택합니다. 그런데 이 자연스러워 보이는 방식에 숨은 결함이 있다는 새로운 연구가 나왔습니다. 목표에 도달하려면 때로는 처음에 목표에서 오히려 멀어지는 행동이 필요한데, 최종 목표 이미지만으로 평가하면 이런 경로를 놓칠 수 있다는 것입니다.

저자 Xvyuan Liu가 arXiv에 게재한 논문 "Aim Short to Reach Far: Your Frozen World Model Can Plan Better Than You Think"(arXiv:2609.30036)에 따르면, 정확한 동역학 모델과 전역 최적의 단기 탐색을 갖춘 경우에도 단일한 먼 목표 이미지로만 평가하는 방식은 제어 성능을 제한할 수 있습니다. 연구진은 문제의 원인이 월드 모델 자체가 아니라, 플래너에게 무엇을 목표로 겨냥하게 하느냐에 있다고 설명합니다.

연구팀은 추가 학습 없이 고정된 상태로 사용하는 사전학습 월드 모델인 LeWM(LeWM 모델)을 Cube, PushT, Reacher, TwoRoom 등 네 가지 벤치마크 과제에 적용해, 항상 최종 목표만 평가하는 대신 중간 목표를 제공했을 때 어떤 변화가 생기는지 실험했습니다. 결과는 뚜렷했습니다. 중간 목표를 사용하자 행동 생성(action synthesis)과 기록된 행동 시퀀스의 순위 평가 모두에서 눈에 띄는 성능 향상이 나타났습니다. 이는 중간 목표가 학습을 통해 얻어졌든, 과거 관측 경험에서 그대로 가져온 것이든 동일하게 나타났습니다.

이 결과를 바탕으로 연구진은 '앵커드 플래닝(Anchored Planning)'이라는 기법을 제안합니다. 이 방법은 별도의 재학습 없이, 시작과 끝 지점이 로봇의 현재 상태 및 최종 목표와 유사한 과거 기록 구간을 검색합니다. 그리고 먼 최종 목표 대신, 검색된 구간의 시작 직후에 관측된 장면을 목표로 삼습니다. 이는 훨씬 더 가깝고 달성하기 쉬운 경유 지점입니다. 동일한 고정 월드 모델이 이 가까운 목표를 기준으로 후보 행동들을 평가합니다.

중요한 점은 이 과정에서 월드 모델이나 플래너 자체에 대한 추가 학습이 전혀 필요하지 않다는 것입니다. 그럼에도 장거리 평가에서, 관측된 중간 목표를 겨냥한 계획은 기존에 공개된 LeWM 플래너를 테스트된 네 가지 과제 모두에서 능가했다고 논문은 밝힙니다. 반면 최종 목표에 대한 탐색을 단순히 늘리는 방식으로는 같은 수준의 성능 향상을 얻지 못했습니다. 즉 성능 개선은 더 열심히 탐색해서가 아니라, 무엇을 목표로 겨냥하는지를 바꾼 데서 비롯되었습니다.

이 연구는 업계에 시사하는 바가 큰 발견도 보고합니다. 월드 모델의 다음 상태 예측 오차(successor-prediction error)가 낮다고 해서 반드시 제어 성능이 좋아지는 것은 아니라는 점입니다. 앵커드 플래닝의 성공 여부는 중간 목표를 얼마나 앞선 시점에 배치하는지, 그리고 실행이 진행됨에 따라 검색 구간의 범위를 점점 좁혀나가는지에도 좌우되었습니다.

논문이 전하는 핵심 메시지는, 고정된 월드 모델과 플래너 자체는 그대로 두고 오직 겨냥하는 목표만 바꾸면 된다는 것입니다. 이 한 가지 조정만으로 기존의 최종 목표 기반 평가 방식으로는 도달하지 못했던 목표에도 도달할 수 있었습니다.

다만 이번에 확인 가능한 자료는 논문의 초록에 한정되어 있어, LeWM 모델의 정확한 구조나 구체적인 성공률 수치 등 세부 사항은 전체 논문을 통해 추가로 확인이 필요합니다.