Ego-Exo4D에 조밀한 4D 인체 동작 데이터셋 추가

연구진이 arXiv를 통해 새로운 데이터셋 'Ego-Exo4D-HM'을 공개했다고 밝혔습니다. 이 데이터셋은 1인칭(에고센트릭) 시점과 다중 3인칭(엑소센트릭) 시점 영상을 동기화해 제공하는 기존 대규모 데이터셋 Ego-Exo4D를 기반으로 구축됐습니다. 연구는 Abhiram Maddukuri 등이 참여했습니다.

Ego-Exo4D는 다양한 시점을 결합한 특성 덕분에 기술(스킬) 학습 및 평가, 절차적 활동 이해, 그리고 임바디드 AI(신체를 가진 인공지능 시스템) 연구에 널리 활용돼 왔습니다. 그러나 논문에 따르면 기존 데이터셋에는 희소한 3D 인체 자세 주석만 포함돼 있었고, 다중 시점 영상으로부터 조밀한 인체 동작을 복원하는 작업은 간단하지 않은 과제로 남아 있었습니다.

Ego-Exo4D-HM은 이러한 공백을 메우기 위해 Ego-Exo4D에 이미 포함된 촬영 자료들에 대해 시간에 따른 3차원 전신 움직임을 담은 조밀한 4D 인체 동작 복원 결과를 제공합니다. 연구진은 데이터셋과 함께 동작 데이터를 생성하는 데 사용한 복원 파이프라인, 관련 코드와 문서를 별도의 프로젝트 웹사이트를 통해 공개했습니다.

로보틱스 및 컴퓨터 비전 연구자들에게는 더 조밀하고 정확한 인체 동작 정답 데이터(그라운드 트루스)가, 영상으로부터 인간 행동을 이해하거나 모방해야 하는 모델을 학습시키는 데 유용할 수 있습니다. 이는 인간의 시연 영상을 해석해야 하는 임바디드 AI 시스템과도 관련이 있습니다. 다만 이번 논문은 프로젝트 웹사이트로 연결되는 짧은 초록 형태로 공개돼, 시퀀스 수, 복원 정확도, 파이프라인의 구체적인 방법론 등 세부 내용은 확인된 텍스트에 포함되어 있지 않습니다.

이 논문은 arXiv에서 컴퓨터 비전 및 패턴 인식(cs.CV) 분야와 로보틱스(cs.RO) 분야에 동시에 분류되어 있어, 두 분야 모두와 관련이 있음을 보여줍니다.