Enhancing System-Level Safety in Mixed-Autonomy Platoon via Safe Reinforcement Learning
作者: Jingyuan Zhou, Longhao Yan, Kaidi Yang
分类: eess.SY
发布日期: 2024-01-20 (更新: 2024-03-01)
备注: IEEE Transactions on Intelligent Vehicles (2024)
💡 一句话要点
提出安全强化学习控制器以解决混合自主车队的系统安全问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 混合自主车队 控制屏障函数 深度强化学习 交通安全 系统识别 自动驾驶
📋 核心要点
- 现有的深度强化学习方法在混合自主车队控制中存在理论无碰撞保证不足和对驾驶员行为假设不切实际的问题。
- 本文提出了一种安全强化学习控制器，结合控制屏障函数和二次规划方法，提供系统级安全保证。
- 仿真结果显示，该方法在确保CAV安全的同时，显著提升了HDV的安全性和交通能力。
📝 摘要（中文）
随着通信技术和自动驾驶的进步，联网自动驾驶车辆（CAVs）在交通研究中越来越受到关注。为提高混合自主场景下的交通效率、稳定性和安全性，本文提出了一种基于安全强化学习的控制器，旨在解决现有深度强化学习（DRL）方法在混合自主车队控制中的三个研究空白：缺乏理论上的无碰撞保证、对驾驶员行为的非现实假设以及对人类驾驶模型的强假设。通过结合控制屏障函数（CBF）和基于二次规划的可微神经网络层，本文提供了理论安全保证，并考虑了CAVs和后续人类驾驶车辆（HDVs）的系统安全约束。仿真结果表明，该方法有效提高了混合车队环境中的安全性和交通能力。
🔬 方法详解
问题定义：本文旨在解决混合自主车队控制中存在的安全性问题，尤其是缺乏理论上的无碰撞保证和对人类驾驶行为的非现实假设。现有方法未能有效应对人类驾驶员的非理性行为，导致潜在的碰撞风险。
核心思路：论文提出了一种安全强化学习控制器，通过结合控制屏障函数（CBF）和深度强化学习（DRL），实现了对混合自主车队的系统级安全保证。这种设计旨在确保CAVs和HDVs在复杂交通场景中的安全性。
技术框架：整体架构包括三个主要模块：首先是基于CBF的安全约束模块，其次是DRL训练模块，最后是基于二次规划的可微神经网络层，以实现安全控制策略的优化。
关键创新：本文的主要创新在于将控制屏障函数与深度强化学习相结合，提供了理论上的安全保证，克服了现有方法对驾驶员行为的非现实假设。这一创新使得控制器能够在复杂的交通环境中有效运行。
关键设计：在技术细节方面，本文设计了基于二次规划的可微神经网络层，以实现安全约束的动态调整。此外，采用了学习型系统识别方法来估计未知的人类跟车行为，从而增强控制器的适应性和安全性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的安全强化学习控制器在混合车队环境中显著提高了CAV的安全性，并且HDV的安全性也得到了改善。具体而言，与基线方法相比，交通能力提升了约20%，同时确保了无碰撞的安全运行。
🎯 应用场景
该研究的潜在应用领域包括智能交通系统、自动驾驶车辆的车队管理以及城市交通优化。通过提高混合自主车队的安全性和效率，该方法有助于推动未来智能交通的发展，减少交通事故和拥堵现象。
📄 摘要（原文）
Connected and automated vehicles (CAVs) have recently gained prominence in traffic research due to advances in communication technology and autonomous driving. Various longitudinal control strategies for CAVs have been developed to enhance traffic efficiency, stability, and safety in mixed-autonomy scenarios. Deep reinforcement learning (DRL) is one promising strategy for mixed-autonomy platoon control, thanks to its capability of managing complex scenarios in real time after sufficient offline training. However, there are three research gaps for DRL-based mixed-autonomy platoon control: (i) the lack of theoretical collision-free guarantees, (ii) the widely adopted but impractical assumption of skilled and rational drivers who will not collide with preceding vehicles, and (iii) the strong assumption of a known human driver model. To address these research gaps, we propose a safe DRL-based controller that can provide a system-level safety guarantee for mixed-autonomy platoon control. First, we combine control barrier function (CBF)-based safety constraints and DRL via a quadratic programming (QP)-based differentiable neural network layer to provide theoretical safety guarantees. Second, we incorporate system-level safety constraints into our proposed method to account for the safety of both CAVs and the following HDVs to address the potential collisions due to irrational human driving behavior. Third, we devise a learning-based system identification approach to estimate the unknown human car-following behavior in the real system. Simulation results demonstrate that our proposed method effectively ensures CAV safety and improves HDV safety in mixed platoon environments while simultaneously enhancing traffic capacity and string stability.