Safe Reinforcement Learning-Based Eco-Driving Control for Mixed Traffic Flows With Disturbances

📄 arXiv: 2401.17837v1 📥 PDF

作者: Ke Lu, Dongjun Li, Qun Wang, Kaidi Yang, Lin Zhao, Ziyou Song

分类: eess.SY

发布日期: 2024-01-31

💡 一句话要点

提出基于安全强化学习的生态驾驶控制框架以应对混合交通流中的干扰问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生态驾驶 强化学习 模型预测控制 安全控制 混合交通流 能效优化 鲁棒性

📋 核心要点

  1. 现有方法在强化学习训练过程中缺乏安全保障，难以在实际应用中有效部署。
  2. 论文提出结合管道增强MPC的安全学习框架，以确保在干扰下安全执行强化学习策略。
  3. 仿真结果显示，所提算法在整体能效上较RMPC提升10.88%，并有效避免了车辆间碰撞。

📝 摘要（中文）

本文提出了一种基于安全学习的生态驾驶框架，旨在优化混合交通流中的能效，同时确保在实际系统操作中的安全性。尽管强化学习（RL）能够在复杂环境中优化能效，但在训练过程中面临安全要求的挑战。相比之下，模型预测控制（MPC）能够处理受限动态系统，确保安全驾驶。然而，复杂的生态驾驶任务和干扰的存在使得MPC设计和约束满足面临重大挑战。为了解决这些问题，提出的框架结合了基于管道的增强MPC（RMPC），确保在干扰下安全执行RL策略，从而提高控制的鲁棒性。仿真结果表明，与RMPC技术相比，所提算法在整体能效上平均提升了10.88%，同时有效防止了车辆间碰撞。

🔬 方法详解

问题定义：本文旨在解决混合交通流中生态驾驶的能效优化与安全保障问题。现有的强化学习方法在训练时无法保证安全性，而模型预测控制在复杂任务和干扰下的应用效果有限。

核心思路：论文的核心思路是将安全强化学习与管道增强MPC结合，利用MPC的安全性来保障RL策略的执行，从而在复杂环境中实现能效优化与安全控制的双重目标。

技术框架：整体架构包括强化学习模块和管道增强MPC模块。RL模块负责能效优化，而RMPC模块则确保在干扰情况下的安全执行。两者通过反馈机制相互作用，提升整体控制性能。

关键创新：最重要的技术创新在于将管道增强MPC与强化学习相结合，解决了传统RL方法在安全性上的不足，确保了在复杂交通环境中的安全驾驶。

关键设计：关键设计包括对RMPC的参数设置、损失函数的选择，以及强化学习网络结构的优化，以适应混合交通流中的不确定性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提算法在整体能效上相比RMPC技术平均提升了10.88%。此外，与传统强化学习算法相比，该方法有效防止了车辆间的碰撞，展示了其在安全性和能效优化方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶汽车和城市交通管理等。通过优化能效和确保安全性，该框架能够有效提升交通流的整体效率，减少能耗，并为未来的智能交通解决方案提供理论基础和技术支持。

📄 摘要（原文）

This paper presents a safe learning-based eco-driving framework tailored for mixed traffic flows, which aims to optimize energy efficiency while guaranteeing safety during real-system operations. Even though reinforcement learning (RL) is capable of optimizing energy efficiency in intricate environments, it is challenged by safety requirements during the training process. The lack of safety guarantees is the other concern when deploying a trained policy in real-world application. Compared with RL, model predicted control (MPC) can handle constrained dynamics systems, ensuring safe driving. However, the major challenges lie in complicated eco-driving tasks and the presence of disturbances, which respectively challenge the MPC design and the satisfaction of constraints. To address these limitations, the proposed framework incorporates the tube-based enhanced MPC (RMPC) to ensure the safe execution of the RL policy under disturbances, thereby improving the control robustness. RL not only optimizes the energy efficiency of the connected and automated vehicle in mixed traffic but also handles more uncertain scenarios, in which the energy consumption of the human-driven vehicle and its diverse and stochastic driving behaviors are considered in the optimization framework. Simulation results demonstrate that the proposed algorithm, compared with RMPC technique, shows an average improvement of 10.88% in holistic energy efficiency, while compared with RL algorithm, it effectively prevents inter-vehicle collisions.