Moving Through Clutter: Scaling Data Collection and Benchmarking for 3D Scene-Aware Humanoid Locomotion via Virtual Reality
作者: Beichen Wang, Yuanjie Lu, Linji Wang, Liuchuan Yu, Xuesu Xiao
分类: cs.RO
发布日期: 2026-03-06
💡 一句话要点
提出MTC框架，通过VR数据收集与评测，实现3D杂乱场景下的人形机器人运动。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动规划 虚拟现实 数据集 场景感知
📋 核心要点
- 现有的人形机器人运动研究主要集中在开放、平坦和无障碍的环境中，缺乏对复杂3D杂乱环境的探索。
- 本文提出基于VR的数据收集和评估框架MTC，通过程序化生成杂乱场景并捕捉人体运动，为机器人运动提供数据基础。
- 构建了包含348条轨迹的数据集，并提出了量化环境杂乱程度和运动性能的基准，为后续研究提供支持。
📝 摘要（中文）
本文提出Moving Through Clutter (MTC)，一个开源的基于虚拟现实(VR)的数据收集和评估框架，用于研究杂乱环境中的场景感知人形机器人运动。该系统能够程序化生成具有可控杂乱程度的场景，并通过沉浸式VR导航捕捉与机器人形态一致的全身人体运动，并自动将其迁移到人形机器人模型上。此外，本文还提出了量化环境杂乱程度和运动性能的基准，包括稳定性和碰撞安全性。利用该框架，作者构建了一个包含145个不同3D杂乱场景中348条轨迹的数据集。该数据集为研究几何结构引导的人形机器人运动适应性以及开发场景感知的规划和控制方法奠定了基础。
🔬 方法详解
问题定义：论文旨在解决人形机器人在复杂3D杂乱环境中运动的问题。现有方法主要在简单环境中进行，难以应对真实世界中家具、障碍物等带来的挑战，缺乏场景感知能力和全身协调控制。现有的数据集也缺乏对场景几何信息的充分关联，限制了相关算法的开发和评估。
核心思路：论文的核心思路是利用虚拟现实(VR)技术，让人类在虚拟的杂乱环境中进行导航，捕捉人类的全身运动数据，然后将这些数据迁移到人形机器人模型上。通过这种方式，可以高效地生成大量与场景几何信息关联的运动数据，为训练和评估人形机器人的场景感知运动能力提供支持。
技术框架：MTC框架主要包含以下几个模块：1) 场景生成模块：程序化生成具有可控杂乱程度的3D场景。2) VR数据采集模块：通过VR设备捕捉人类在虚拟场景中的全身运动数据。3) 运动迁移模块：将人类运动数据迁移到人形机器人模型上。4) 评估基准模块：定义了量化环境杂乱程度和运动性能的指标，包括稳定性和碰撞安全性。
关键创新：该论文的关键创新在于：1) 提出了一个基于VR的数据收集和评估框架，能够高效地生成与场景几何信息关联的运动数据。2) 设计了程序化场景生成方法，可以控制场景的杂乱程度，从而系统地研究不同场景对机器人运动的影响。3) 提出了量化环境杂乱程度和运动性能的基准，为评估人形机器人的场景感知运动能力提供了标准。
关键设计：在场景生成方面，论文设计了参数来控制场景中物体的数量、大小、位置和方向，从而控制场景的杂乱程度。在运动迁移方面，论文采用了运动重定向技术，将人类的运动数据映射到人形机器人模型上，同时考虑了机器人的物理约束。在评估基准方面，论文定义了稳定性指标（例如零力矩点ZMP）和碰撞安全性指标（例如与环境的距离）。
🖼️ 关键图片
📊 实验亮点
论文构建了一个包含145个不同3D杂乱场景中348条轨迹的数据集，为研究几何结构引导的人形机器人运动适应性以及开发场景感知的规划和控制方法奠定了基础。提出的VR数据采集框架能够高效生成大量数据，为后续研究提供了有力支持。同时，提出的环境杂乱程度和运动性能的基准，为评估人形机器人的场景感知运动能力提供了标准。
🎯 应用场景
该研究成果可应用于人形机器人在家庭、办公室等复杂环境中的导航、操作和人机交互。通过学习场景感知的运动策略，机器人可以更好地适应真实世界的复杂环境，完成各种任务，例如家庭服务、物流配送、辅助医疗等。未来，该研究可以促进人形机器人更安全、更高效地与人类协同工作。
📄 摘要（原文）
Recent advances in humanoid locomotion have enabled dynamic behaviors such as dancing, martial arts, and parkour, yet these capabilities are predominantly demonstrated in open, flat, and obstacle-free settings. In contrast, real-world environments such as homes, offices, and public spaces, are densely cluttered, three-dimensional, and geometrically constrained, requiring scene-aware whole-body coordination, precise balance control, and reasoning over spatial constraints imposed by furniture and household objects. However, humanoid locomotion in cluttered 3D environments remains underexplored, and no public dataset systematically couples full-body human locomotion with the scene geometry that shapes it. To address this gap, we present Moving Through Clutter (MTC), an opensource Virtual Reality (VR) based data collection and evaluation framework for scene-aware humanoid locomotion in cluttered environments. Our system procedurally generates scenes with controllable clutter levels and captures embodiment-consistent, whole-body human motion through immersive VR navigation, which is then automatically retargeted to a humanoid robot model. We further introduce benchmarks that quantify environment clutter level and locomotion performance, including stability and collision safety. Using this framework, we compile a dataset of 348 trajectories across 145 diverse 3D cluttered scenes. The dataset provides a foundation for studying geometry-induced adaptation in humanoid locomotion and developing scene-aware planning and control methods.