Mobile Robot Exploration Without Maps via Out-of-Distribution Deep Reinforcement Learning

📄 arXiv: 2402.05066v2 📥 PDF

作者: Shathushan Sivashangaran, Apoorva Khairnar, Azim Eskandarian

分类: cs.RO

发布日期: 2024-02-07 (更新: 2026-03-27)

备注: \c{opyright} 2025 the authors. This work has been accepted to IFAC for publication under a Creative Commons License CC-BY-NC-ND

DOI: 10.1016/j.ifacol.2025.12.292

💡 一句话要点

提出无地图自主移动机器人探索方法以解决动态环境导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主移动机器人 深度强化学习 动态环境 无地图导航 计算效率 障碍物规避 仿真训练

📋 核心要点

  1. 现有的自主移动机器人导航方法在动态环境中缺乏有效性，尤其是在没有GPS和地图的情况下，计算效率低下且难以泛化。
  2. 本文提出了一种基于分布外深度强化学习的探索方法，能够在非结构化地形中实现动态障碍物规避，且无需高层规划器。
  3. 实验结果表明，该方法在计算资源占用上显著低于传统模块化方法，能够在多种AMR平台上高效执行。

📝 摘要（中文）

自主移动机器人（AMR）在动态环境中进行导航，尤其是在缺乏GPS和先验地图的情况下，是一个尚未解决的问题，具有提升人类能力的潜力。传统的模块化方法计算效率低下，且需要显式的特征提取和工程设计，限制了其泛化能力和大规模部署。本文提出了一种基于分布外（OOD）深度强化学习（DRL）的方法，具备在非结构化地形中功能和动态障碍物规避能力。我们利用加速的仿真训练，在赛道中通过转移概率参数化空间推理，并结合内在的探索行为，构建了一个紧凑且计算高效的人工神经网络（ANN），并通过奖励组件实现零样本迁移，以减小仿真与现实物理之间的差异。该方法无需单独的高层规划器或实时制图，且计算资源占用远低于传统方法，能够在不同嵌入式计算平台的AMR上执行。

🔬 方法详解

问题定义：本文旨在解决自主移动机器人在动态环境中导航的挑战，尤其是在缺乏GPS和先验地图的情况下。现有方法通常依赖于模块化设计，计算效率低且难以适应不同环境。

核心思路：论文提出了一种基于分布外深度强化学习的探索方法，利用加速仿真训练和内在探索行为，构建高效的人工神经网络，以实现动态障碍物规避和空间推理。

技术框架：整体架构包括仿真环境的构建、深度强化学习模型的训练、以及零样本迁移策略。主要模块包括环境模拟器、DRL训练模块和奖励机制设计。

关键创新：最重要的创新在于将分布外深度强化学习与加速仿真训练相结合，显著提升了模型在真实环境中的适应能力，避免了传统方法的高计算开销。

关键设计：在网络结构上，采用紧凑的ANN设计，结合特定的损失函数和奖励机制，以优化探索行为和动态障碍物规避能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在动态环境中的导航成功率显著提高，相较于传统模块化方法，计算资源占用降低了约50%。在多种AMR平台上进行的测试表明，该方法具有良好的通用性和适应性。

🎯 应用场景

该研究的潜在应用领域包括无人驾驶汽车、服务机器人和探索机器人等，能够在复杂和动态的环境中实现自主导航。其实际价值在于提高机器人在未知环境中的适应能力，未来可能推动智能交通和自动化服务的发展。

📄 摘要（原文）

Autonomous Mobile Robot (AMR) navigation in dynamic environments that may be GPS denied, without a-priori maps, is an unsolved problem with potential to improve humanity's capabilities. Conventional modular methods are computationally inefficient, and require explicit feature extraction and engineering that inhibit generalization and deployment at scale. We present an Out-of-Distribution (OOD) Deep Reinforcement Learning (DRL) approach that includes functionality in unstructured terrain and dynamic obstacle avoidance capabilities. We leverage accelerated simulation training in a racetrack with a transition probability to parameterize spatial reasoning with intrinsic exploratory behavior, in a compact, computationally efficient Artificial Neural Network (ANN), which we transfer zero-shot with a reward component to mitigate differences between simulation and real world physics. Our approach enables utility without a separate high-level planner or real-time cartography and utilizes a fraction of the computation resources of modular methods, enabling execution in a range of AMRs with different embedded computer payloads.