로봇 코딩 에이전트, 안전장치 없인 장애물과 충돌

'코딩 에이전트'란 로봇 전용 학습 과정 없이 거대언어모델(LLM)이 로봇의 제어 프로그램을 직접 코드로 작성해 실행하는 방식을 말합니다. 로봇 조작 작업에서 각광받아온 이 방식이 실제로 안전한지는 그동안 거의 검증되지 않았는데, 최근 arXiv에 게재된 한 논문이 이 질문을 정면으로 다뤘습니다.

연구진은 조작 목표와 함께 로봇이 절대 만져서는 안 되는 장애물을 짝지은 시험 과제를 설계했습니다. 그 결과 대부분의 시도에서 에이전트는 임무 자체는 완수했지만 만지지 말라고 명시된 장애물과 충돌했습니다. 사실상 임무 완수만을 유일한 목표로 삼은 셈입니다. 흥미로운 점은 에이전트의 추론 과정을 살펴보면 장애물의 존재를 인식하고 있었고, 프롬프트에도 장애물을 만지지 말라는 지시가 명확히 포함돼 있었다는 것입니다. 즉 인지나 지시 전달의 문제가 아니라는 뜻입니다. arXiv에 보도된 바에 따르면, 연구진은 문제의 근원을 계획(planning) 단계에서 찾았습니다. 안전 제약이 실제 실행 과정에서 우선순위로 반영되지 않는다는 것입니다.

연구진은 조작 과정을 목표물까지 이동하는 '경로' 단계와 실제로 물체와 접촉하는 '접촉' 단계로 나누어 문제를 분석했습니다. 경로 단계에서 에이전트는 장애물을 피해가는 우회 경로라는 개념 자체가 없고, 선택한 경로가 실행 불가능해져도 다시 계획을 세우지 못했습니다. 접촉 단계에서는 실제 접촉 행위에도 동일한 안전 제약이 적용된다는 사실을 인식하지 못했습니다.

이를 해결하기 위해 연구진은 SafeHarness라는 프레임워크를 제시했습니다. 여기에는 두 가지 장애물 인지형 장치가 포함됩니다. 첫째, 장애물 인지형 경로 계획은 물체를 경계 상자(bounding box)로 표현하고, 이 위에 여러 후보 경로를 웨이포인트(경유점) 시퀀스 형태로 그린 뒤 에이전트가 사전에 경로를 계획·검증하고 필요시 재계획한 후에야 실행하도록 합니다. 둘째, 장애물 인지형 접촉 실행은 접촉 지점 자체를 장애물을 피하도록 선정합니다.

실험 결과 SafeHarness는 임무 성공률 71.9%, 충돌 회피율 87.5%를 기록해 기존 최고 성능 대비 각각 6.5%포인트, 27.0%포인트 앞섰습니다. 이는 별도의 안전장치가 없는 동일 에이전트와 비교하면 각각 2.3배, 1.5배에 해당하는 수치입니다.

다만 초록(abstract)에는 사용된 로봇 플랫폼, 벤치마크 종류, 제출 저자 외 연구 소속 기관 등이 명시되어 있지 않아 추가 확인이 필요합니다.