Beyond Egocentric Limits: Multi-View Depth-Based Learning for Robust Quadrupedal Locomotion
作者: Rémy Rahem, Wael Suleiman
分类: cs.RO
发布日期: 2025-11-27
备注: 12 pages, 6 figures, code available at https://anonymous.4open.science/r/multiview-parkour-6FB8
💡 一句话要点
提出基于多视角深度信息的四足机器人运动学习框架，提升鲁棒性。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 四足机器人 多视角学习 深度信息 运动控制 领域随机化
📋 核心要点
- 现有四足机器人运动方法主要依赖自中心视角，在机器人视角被遮挡时性能受限。
- 提出一种多视角深度学习框架，融合自中心和外部视角信息，增强环境感知。
- 通过教师-学生蒸馏和领域随机化，提升策略对感知噪声和视角变化的鲁棒性。
📝 摘要（中文）
本文提出了一种基于多视角深度信息的四足机器人运动框架，旨在通过融合自中心视角和外部视角观测，为敏捷运动提供更丰富的环境信息。该方法采用教师-学生蒸馏方法，使学生策略学习融合本体感受和双深度流，同时对真实世界的感知缺陷保持鲁棒性。为了进一步提高鲁棒性，引入了广泛的领域随机化，包括随机远程相机丢失和模拟空中-地面协同感知的3D位置扰动。仿真结果表明，多视角策略在跨越间隙、下台阶和其他动态操作中优于单视角基线，同时在外部相机部分或完全不可用时保持稳定性。其他实验表明，在训练中加入适度的视角不对齐可以很好地容忍。这项研究表明，异构视觉反馈提高了四足运动的鲁棒性和敏捷性。为了支持可重复性，本文的实现已公开发布。
🔬 方法详解
问题定义：现有四足机器人运动方法主要依赖于自中心视角（第一人称视角）的感知，这限制了机器人在复杂环境中的运动能力，尤其是在机器人视角被遮挡的情况下。例如，当机器人需要跨越障碍物或下台阶时，如果自中心视角无法提供足够的环境信息，机器人就难以做出正确的决策。因此，需要一种能够提供更全面环境信息的感知方法，以提高机器人的运动鲁棒性和敏捷性。
核心思路：本文的核心思路是利用多个视角的深度信息来增强机器人对环境的感知能力。具体来说，除了机器人自身的自中心视角外，还引入了外部视角（例如，来自无人机的俯视视角）。通过融合来自不同视角的深度信息，机器人可以获得更全面的环境信息，从而更好地规划和执行运动。这种多视角感知方法可以有效地解决自中心视角被遮挡的问题，提高机器人在复杂环境中的运动能力。
技术框架：该框架采用教师-学生蒸馏的方法。教师策略使用完整的多视角深度信息进行训练，学习最优的运动策略。然后，学生策略学习模仿教师策略的行为，但只使用部分视角的信息（例如，自中心视角和部分外部视角）。通过这种方式，学生策略可以学习到如何融合来自不同视角的深度信息，并对感知噪声和视角变化具有鲁棒性。此外，该框架还采用了领域随机化技术，通过在训练过程中引入随机的相机丢失和位置扰动，进一步提高策略的鲁棒性。
关键创新：该论文的关键创新在于提出了一个基于多视角深度信息的四足机器人运动学习框架，该框架能够有效地融合来自不同视角的深度信息，并对感知噪声和视角变化具有鲁棒性。与传统的自中心视角方法相比，该方法可以提供更全面的环境信息，从而提高机器人的运动能力。此外，该论文还提出了一种新的领域随机化方法，通过在训练过程中引入随机的相机丢失和位置扰动，进一步提高了策略的鲁棒性。
关键设计：该框架的关键设计包括：1) 使用深度信息作为输入，避免了复杂的图像处理；2) 采用教师-学生蒸馏方法，使学生策略能够学习模仿教师策略的行为，并对感知噪声和视角变化具有鲁棒性；3) 引入领域随机化技术，通过在训练过程中引入随机的相机丢失和位置扰动，进一步提高策略的鲁棒性；4) 使用合适的损失函数来训练学生策略，例如，行为克隆损失和状态匹配损失。
📊 实验亮点
仿真实验表明，多视角策略在跨越间隙、下台阶等动态操作中显著优于单视角基线。即使外部相机部分或完全不可用，多视角策略仍能保持较好的稳定性。此外，实验还表明，在训练中加入适度的视角不对齐可以提高策略对视角变化的鲁棒性。这些结果表明，多视角感知能够有效提高四足机器人的运动能力和鲁棒性。
🎯 应用场景
该研究成果可应用于搜救、勘探、巡检等领域。多视角感知能够提升四足机器人在复杂地形和遮挡环境下的运动能力，使其能够更好地完成任务。例如，在灾后搜救中，无人机可以提供俯视视角，帮助机器人避开障碍物和寻找幸存者。未来，该技术有望应用于更广泛的机器人领域，例如人形机器人和移动机器人。
📄 摘要（原文）
Recent progress in legged locomotion has allowed highly dynamic and parkour-like behaviors for robots, similar to their biological counterparts. Yet, these methods mostly rely on egocentric (first-person) perception, limiting their performance, especially when the viewpoint of the robot is occluded. A promising solution would be to enhance the robot's environmental awareness by using complementary viewpoints, such as multiple actors exchanging perceptual information. Inspired by this idea, this work proposes a multi-view depth-based locomotion framework that combines egocentric and exocentric observations to provide richer environmental context during agile locomotion. Using a teacher-student distillation approach, the student policy learns to fuse proprioception with dual depth streams while remaining robust to real-world sensing imperfections. To further improve robustness, we introduce extensive domain randomization, including stochastic remote-camera dropouts and 3D positional perturbations that emulate aerial-ground cooperative sensing. Simulation results show that multi-viewpoints policies outperform single-viewpoint baseline in gap crossing, step descent, and other dynamic maneuvers, while maintaining stability when the exocentric camera is partially or completely unavailable. Additional experiments show that moderate viewpoint misalignment is well tolerated when incorporated during training. This study demonstrates that heterogeneous visual feedback improves robustness and agility in quadrupedal locomotion. Furthermore, to support reproducibility, the implementation accompanying this work is publicly available at https://anonymous.4open.science/r/multiview-parkour-6FB8