Modular Control Architecture for Safe Marine Navigation: Reinforcement Learning and Predictive Safety Filters

📄 arXiv: 2312.01855v2 📥 PDF

作者: Aksel Vaaler, Svein Jostein Husa, Daniel Menges, Thomas Nakken Larsen, Adil Rasheed

分类: cs.RO, cs.AI

发布日期: 2023-12-04 (更新: 2024-04-02)

备注: 15 pages, 15 figures

💡 一句话要点

提出基于强化学习与预测安全滤波器的船舶模块化控制架构，保障航行安全。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主船舶 强化学习 预测安全滤波器 安全控制 路径规划 避碰 模块化控制

📋 核心要点

  1. 现有自主系统在复杂环境中面临安全挑战，传统方法难以保证在非线性动力学和环境扰动下的安全性。
  2. 论文提出一种模块化的控制架构，结合强化学习（RL）和预测安全滤波器（PSF），利用PSF保障RL控制策略的安全性。
  3. 实验结果表明，PSF能够有效维护船舶航行安全，且不影响RL智能体的学习效率和整体性能。

📝 摘要（中文）

许多自主系统面临安全挑战，需要鲁棒的闭环控制来处理物理限制和安全约束。像自主船舶这样的实际系统会遇到非线性动力学和环境扰动。强化学习越来越多地用于适应复杂场景，但缺乏确保安全性和稳定性的标准框架。预测安全滤波器(PSF)提供了一个有希望的解决方案，在基于学习的控制中确保约束满足，而无需显式地处理约束。这种模块化方法允许使用任意控制策略，安全滤波器优化提议的动作以满足物理和安全约束。我们将这种方法应用于船舶导航，在模拟的Cybership II模型上结合了RL和PSF。RL智能体经过路径跟踪和避碰训练，而PSF监控和修改控制动作以确保安全。结果表明，PSF在保持安全性的同时，不影响RL智能体的学习速度和性能，并与没有PSF的标准RL智能体进行了评估。

🔬 方法详解

问题定义：自主船舶在复杂水域航行时，面临着环境扰动、船舶自身动力学约束以及避碰等安全约束。传统的控制方法难以同时处理这些问题，并且缺乏足够的适应性和鲁棒性。强化学习虽然可以学习到复杂的控制策略，但难以保证安全性，容易出现违反约束的情况。

核心思路：论文的核心思路是将强化学习和预测安全滤波器（PSF）结合起来，构建一个模块化的控制架构。强化学习负责学习最优的控制策略，而PSF则负责监控和修正强化学习提出的控制动作，确保其满足安全约束。这种模块化的设计使得可以灵活地更换不同的强化学习算法，而无需修改安全滤波器的设计。

技术框架：整体架构包含两个主要模块：强化学习智能体和预测安全滤波器。强化学习智能体根据当前状态输出一个控制动作，然后将该动作传递给预测安全滤波器。预测安全滤波器根据船舶的动力学模型和安全约束，判断该动作是否安全。如果动作不安全，则PSF会对其进行修正，使其满足安全约束。最后，修正后的动作被发送给船舶执行。

关键创新：该方法最重要的创新点在于将预测安全滤波器应用于强化学习控制，从而在保证学习效率的同时，确保了控制的安全性。与传统的约束优化方法相比，PSF不需要显式地处理约束，而是通过预测未来的状态来判断动作的安全性，从而更加灵活和高效。此外，模块化的设计也使得该方法具有良好的可扩展性。

关键设计：论文使用了一种基于模型的预测安全滤波器，该滤波器利用船舶的动力学模型来预测未来的状态。安全约束被定义为状态空间中的一个安全区域，如果预测的未来状态超出该安全区域，则认为该动作不安全。PSF通过优化控制动作，使其能够将船舶的状态保持在安全区域内。强化学习部分使用了PPO算法，奖励函数设计考虑了路径跟踪和避碰两个目标。

📊 实验亮点

实验结果表明，与没有PSF的标准RL智能体相比，结合PSF的RL智能体在保持学习速度和性能的同时，能够有效地避免碰撞，保证船舶航行的安全性。具体来说，在相同的训练时间内，结合PSF的RL智能体能够学习到更加安全和高效的控制策略，并且在面对环境扰动时表现出更强的鲁棒性。

🎯 应用场景

该研究成果可应用于自主船舶的路径规划、避碰以及自动驾驶等领域，提高船舶航行的安全性、可靠性和智能化水平。此外，该方法也可推广到其他需要安全保障的自主系统，如无人机、自动驾驶汽车和机器人等。

📄 摘要（原文）

Many autonomous systems face safety challenges, requiring robust closed-loop control to handle physical limitations and safety constraints. Real-world systems, like autonomous ships, encounter nonlinear dynamics and environmental disturbances. Reinforcement learning is increasingly used to adapt to complex scenarios, but standard frameworks ensuring safety and stability are lacking. Predictive Safety Filters (PSF) offer a promising solution, ensuring constraint satisfaction in learning-based control without explicit constraint handling. This modular approach allows using arbitrary control policies, with the safety filter optimizing proposed actions to meet physical and safety constraints. We apply this approach to marine navigation, combining RL with PSF on a simulated Cybership II model. The RL agent is trained on path following and collision avpodance, while the PSF monitors and modifies control actions for safety. Results demonstrate the PSF's effectiveness in maintaining safety without hindering the RL agent's learning rate and performance, evaluated against a standard RL agent without PSF.