MarvisNav: 탐색 기억을 시각화한 제로샷 객체 내비게이션

요약

출처: arXiv cs.RO · 2026년 10월 6일 공개

이 논문은 제로샷 객체 내비게이션(ZSON)에서 시각-언어 모델(VLM)이 현재 시각 정보와 과거 탐색 이력을 분리된 데이터로 처리하는 한계를 지적합니다. 기존 방식은 이러한 정보를 결합하는 추가 단계가 필요하거나, 기억과 경로 선택 간의 연관성을 VLM이 암묵적으로 추론해야 하는 문제가 있었습니다. 연구진에 따르면 MarvisNav는 탐색 기억을 시각적 경로 선택 위에 직접 보여줌으로써 이 문제를 해결합니다.

이 프레임워크는 위상 그래프를 유지하면서 후보 노드와 그 탐색 상태를 로봇의 시야(egocentric view)에 투영합니다. 여기서 탐색 상태는 단순한 방문 여부를 넘어 지역적 탐색 진행도를 포착합니다. 이를 통해 VLM은 사후 재순위화(reranking) 단계 없이 목표 관련성과 탐색 상태를 동시에 평가할 수 있습니다. 연구진은 HM3D 벤치마크에서 81.2%의 성공률(SR)과 42.5%의 SPL(경로 길이 가중 성공률)을 달성했다고 보고했습니다. 또한 MP3D에서도 경쟁력을 유지했으며, WMNav 대비 VLM 호출 횟수를 7.5% 수준으로 줄였습니다. 다양한 장면에서의 실로봇 실험을 통해 실용적 배포 가능성도 검증했습니다.

의의

대부분의 기존 ZSON 방법은 텍스트나 지도 형태로 탐색 이력을 표현합니다. 이는 VLM이 과거 행동과 현재 옵션 간의 관계를 추론하도록 강요합니다. MarvisNav는 기억을 시각 입력 자체에 통합함으로써 이 접근에서 벗어납니다. 이는 인간의 탐색 방식, 즉 현재 시야가 장소와 관련된 기억을 촉발하는 것과 유사합니다. 별도의 결합 모듈이 필요 없으므로 의사결정 파이프라인이 단순해지고, 실시간 로봇 애플리케이션에 중요한 계산 부하가 감소합니다.

로봇의 해석

MarvisNav의 핵심 강점은 기억과 시각 정보 통합 문제를 우아하게 단순화했다는 점입니다. 탐색 상태를 별도의 데이터 유형이 아닌 시각적 속성으로 취급함으로써 VLM의 고유한 공간 추론 능력을 활용합니다. 그러나 위상 그래프에 대한 의존성은 그래프 구성이 어려운 동적이거나 비정형 환경에서의 적용 가능성을 제한할 수 있습니다. 보고된 효율성 향상은 인상적이지만, 테스트된 장면을 넘어선 복잡한 실세계 시나리오로의 일반화 여부는 여전히 지켜볼 필요가 있습니다. 기억 표현이 VLM의 의사결정을 형성한다는 통찰은 가치 있으며, 향후 내비게이션 시스템은 정보의 가용성뿐 아니라 모델에 대한 정보 제시 방식에 우선순위를 두어야 함을 시사합니다.