Learning Vision-Based Omnidirectional Navigation: A Teacher-Student Approach Using Monocular Depth Estimation

📄 arXiv: 2603.01999v1 📥 PDF

作者: Jan Finke, Wayne Paul Martis, Adrian Schmelter, Lars Erbach, Christian Jestel, Marvin Wiedemann

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-03-02

💡 一句话要点

提出基于单目深度估计的师生学习框架，实现全向移动机器人的视觉导航。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉导航 单目深度估计 师生学习 机器人 强化学习

📋 核心要点

  1. 传统2D激光雷达在复杂3D环境中避障存在局限性，无法感知扫描平面外的障碍物。
  2. 提出师生学习框架，教师策略利用激光雷达学习导航，学生策略仅依赖单目深度估计。
  3. 实验表明，学生策略在仿真和真实环境中均优于激光雷达教师策略，尤其在复杂3D场景下。

📝 摘要（中文）

为了在工业环境中实现可靠的避障，需要对场景进行3D理解。然而，常用的2D激光雷达传感器仅能感知环境的单个水平切片，忽略了扫描平面上方或下方的关键障碍物。本文提出了一种基于视觉的移动机器人导航师生框架，无需激光雷达传感器。教师策略在NVIDIA Isaac Lab中通过近端策略优化（PPO）训练，利用特权的2D激光雷达观测，考虑了机器人的完整足迹，从而学习鲁棒的导航。学习到的行为被提炼成学生策略，该策略仅依赖于由四个RGB相机和一个微调的Depth Anything V2模型预测的单目深度图。完整的推理流程，包括单目深度估计（MDE）、策略执行和电机控制，完全在安装在DJI RoboMaster平台上的NVIDIA Jetson Orin AGX上运行，无需外部计算进行推理。在仿真中，学生策略的成功率达到82-96.5%，始终优于标准2D激光雷达教师策略（50-89%）。在真实世界的实验中，当导航绕过具有复杂3D几何形状的障碍物时，例如悬垂结构和低矮物体，这些障碍物位于2D激光雷达的单个扫描平面之外，基于MDE的学生策略优于2D激光雷达教师策略。

🔬 方法详解

问题定义：现有移动机器人导航方法依赖2D激光雷达，但其只能提供水平切面的环境信息，对于工业环境中普遍存在的悬空或低矮障碍物无法有效感知，导致导航失败。因此，需要一种能够理解完整3D环境的导航方法。

核心思路：采用师生学习框架，利用教师策略学习到的鲁棒导航行为，指导学生策略仅使用视觉信息进行导航。教师策略使用2D激光雷达，但考虑了机器人完整的足迹，从而学习更安全的导航策略。学生策略则通过单目深度估计获取3D环境信息，并模仿教师策略的行为。

技术框架：该框架包含两个主要部分：教师策略训练和学生策略蒸馏。教师策略使用PPO算法在NVIDIA Isaac Lab中进行训练，输入为2D激光雷达数据。学生策略使用微调的Depth Anything V2模型进行单目深度估计，然后将深度图作为输入，模仿教师策略的动作。整个推理流程在NVIDIA Jetson Orin AGX上运行。

关键创新：该方法的核心创新在于利用单目深度估计替代激光雷达，实现仅依赖视觉的3D环境感知和导航。通过师生学习，将激光雷达的鲁棒性迁移到视觉策略，克服了视觉导航在复杂环境中的挑战。

关键设计：教师策略使用PPO算法，奖励函数设计鼓励安全导航和避免碰撞。学生策略的单目深度估计模型Depth Anything V2经过微调，以提高在特定环境下的深度估计精度。学生策略的网络结构和损失函数设计用于模仿教师策略的动作分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在仿真环境中，学生策略的导航成功率达到82-96.5%，显著优于2D激光雷达教师策略的50-89%。在真实环境中，学生策略在导航绕过具有复杂3D几何形状的障碍物时，表现出优于2D激光雷达教师策略的性能，验证了该方法在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于工业机器人、仓储物流机器人、服务机器人等领域，尤其是在需要复杂3D环境理解的场景中。通过降低对激光雷达等昂贵传感器的依赖，有望降低机器人部署成本，并提升机器人在复杂环境中的适应性和鲁棒性。未来可进一步探索多模态融合，结合视觉和触觉等信息，实现更智能的机器人导航。

📄 摘要（原文）

Reliable obstacle avoidance in industrial settings demands 3D scene understanding, but widely used 2D LiDAR sensors perceive only a single horizontal slice of the environment, missing critical obstacles above or below the scan plane. We present a teacher-student framework for vision-based mobile robot navigation that eliminates the need for LiDAR sensors. A teacher policy trained via Proximal Policy Optimization (PPO) in NVIDIA Isaac Lab leverages privileged 2D LiDAR observations that account for the full robot footprint to learn robust navigation. The learned behavior is distilled into a student policy that relies solely on monocular depth maps predicted by a fine-tuned Depth Anything V2 model from four RGB cameras. The complete inference pipeline, comprising monocular depth estimation (MDE), policy execution, and motor control, runs entirely onboard an NVIDIA Jetson Orin AGX mounted on a DJI RoboMaster platform, requiring no external computation for inference. In simulation, the student achieves success rates of 82-96.5%, consistently outperforming the standard 2D LiDAR teacher (50-89%). In real-world experiments, the MDE-based student outperforms the 2D LiDAR teacher when navigating around obstacles with complex 3D geometries, such as overhanging structures and low-profile objects, that fall outside the single scan plane of a 2D LiDAR.