Safety Aware Autonomous Path Planning Using Model Predictive Reinforcement Learning for Inland Waterways
作者: Astrid Vanneste, Simon Vanneste, Olivier Vasseur, Robin Janssens, Mattias Billast, Ali Anwar, Kevin Mets, Tom De Schepper, Siegfried Mercelis, Peter Hellinckx
分类: cs.LG
发布日期: 2023-11-16
备注: \c{opyright} 2022 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
DOI: 10.1109/IECON49645.2022.9968678
💡 一句话要点
提出基于模型预测强化学习的安全自主路径规划方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 自主航运 路径规划 模型预测控制 强化学习 城市水道 智能交通 水上物流
📋 核心要点
- 现有的路径规划方法如Frenet框架和势场导航在参数调整上存在困难，且在复杂环境中表现不佳。
- 本文提出的模型预测强化学习（MPRL）方法通过计算航点来实现路径规划，能够适应不同形状的水道和障碍物。
- 实验结果显示，MPRL在两个测试场景中均优于传统方法，成功实现了无碰撞导航。
📝 摘要（中文）
近年来，城市水道中的自主航运受到越来越多的关注，旨在减少城市中心的汽车和卡车流量。传统的路径规划方法如Frenet框架规划和势场导航通常需要调整多个配置参数，且在不同情况下可能需要不同的配置。本文提出了一种基于强化学习的新型路径规划方法，称为模型预测强化学习（MPRL）。MPRL计算出一系列航点供船只跟随，环境则通过占用网格地图表示，从而能够处理任意形状的水道及障碍物。我们在两个场景中展示了该方法，并将结果与Frenet框架和基于近端策略优化（PPO）代理的路径规划进行了比较。结果表明，MPRL在两个测试场景中均优于这两种基线方法，且在复杂场景中能够安全无碰撞地到达目标。
🔬 方法详解
问题定义：本文旨在解决城市水道中自主航运的路径规划问题，现有方法在复杂环境下的适应性和安全性不足，尤其在障碍物较多的情况下表现不佳。
核心思路：提出的模型预测强化学习（MPRL）方法通过强化学习技术，动态计算航点，使得船只能够在复杂环境中安全导航，避免碰撞。
技术框架：MPRL方法的整体架构包括环境建模、航点计算和路径跟踪三个主要模块。环境通过占用网格地图表示，航点计算基于强化学习算法，路径跟踪则确保船只沿计算出的航点安全行驶。
关键创新：MPRL的核心创新在于将模型预测控制与强化学习相结合，能够在动态环境中实时调整航点，显著提高了路径规划的灵活性和安全性。
关键设计：在MPRL中，采用了特定的奖励函数来引导学习过程，并设计了适应性强的网络结构以处理不同形状的水道和障碍物。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MPRL在两个测试场景中均成功实现了无碰撞导航，而基于PPO的方法未能到达目标，Frenet框架在复杂场景中也未能成功。MPRL的表现明显优于这两种基线方法，展示了其在复杂环境中的有效性。
🎯 应用场景
该研究的潜在应用领域包括城市水道的自主航运、智能交通系统以及水上物流等。通过提高路径规划的安全性和灵活性，MPRL有望在未来的智能航运中发挥重要作用，推动城市交通的可持续发展。
📄 摘要（原文）
In recent years, interest in autonomous shipping in urban waterways has increased significantly due to the trend of keeping cars and trucks out of city centers. Classical approaches such as Frenet frame based planning and potential field navigation often require tuning of many configuration parameters and sometimes even require a different configuration depending on the situation. In this paper, we propose a novel path planning approach based on reinforcement learning called Model Predictive Reinforcement Learning (MPRL). MPRL calculates a series of waypoints for the vessel to follow. The environment is represented as an occupancy grid map, allowing us to deal with any shape of waterway and any number and shape of obstacles. We demonstrate our approach on two scenarios and compare the resulting path with path planning using a Frenet frame and path planning based on a proximal policy optimization (PPO) agent. Our results show that MPRL outperforms both baselines in both test scenarios. The PPO based approach was not able to reach the goal in either scenario while the Frenet frame approach failed in the scenario consisting of a corner with obstacles. MPRL was able to safely (collision free) navigate to the goal in both of the test scenarios.