Reinforcement Learning-based Receding Horizon Control using Adaptive Control Barrier Functions for Safety-Critical Systems
作者: Ehsan Sabouni, H. M. Sabbir Ahmad, Vittorio Giammarino, Christos G. Cassandras, Ioannis Ch. Paschalidis, Wenchao Li
分类: eess.SY, cs.AI
发布日期: 2024-03-26 (更新: 2025-02-19)
💡 一句话要点
提出基于强化学习的前视控制以解决安全关键系统问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 前视控制 控制屏障函数 模型预测控制 安全关键系统 自动驾驶 交通系统
📋 核心要点
- 现有的最优控制方法在处理安全关键问题时，容易变得复杂且难以实现，尤其是在性能和可行性之间的权衡上。
- 本文提出了一种基于强化学习的前视控制方法，结合模型预测控制和控制屏障函数，通过双层优化来学习最优参数。
- 实验结果表明，所提方法在自动化合并控制问题中表现出更好的性能，并显著减少了不可行案例的数量。
📝 摘要（中文）
最优控制方法为安全关键问题提供了解决方案，但往往变得难以处理。控制屏障函数（CBFs）作为一种流行技术，通过其前向不变性属性在保证安全的同时，可能导致一定的性能损失。本文提出了一种基于强化学习的前视控制方法，结合模型预测控制（MPC）和CBFs，利用双层优化来学习最优参数，并计算最优控制输入。通过在自动化合并控制问题中的应用，结果显示与传统启发式方法相比，性能显著提升，且不可行案例数量大幅减少，展示了该方法的有效性。
🔬 方法详解
问题定义：本文旨在解决安全关键系统中的最优控制问题，现有方法在性能和可行性之间的权衡常常导致不可行的控制输入。
核心思路：提出了一种基于强化学习的前视控制方法，利用模型预测控制（MPC）与控制屏障函数（CBFs）相结合，通过双层优化来学习控制参数，从而提高控制性能和安全性。
技术框架：整体架构包括两个主要模块：首先，强化学习模块用于学习最优控制参数；其次，模型预测控制模块负责计算最优控制输入，确保在CBF约束下的安全性。
关键创新：最重要的创新在于将强化学习与MPC-CBF结合，利用双层优化策略有效地解决了传统方法在参数选择和约束校准中的不足，提升了系统的性能和可行性。
关键设计：在设计中，强化学习的奖励函数与控制性能紧密相关，CBF约束的参数通过强化学习进行动态调整，以实现性能与保守性之间的最佳平衡。具体的网络结构和损失函数设置在实验中经过优化，以确保学习过程的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在自动化合并控制问题中，相较于传统启发式方法，性能提升显著，尤其是在不可行案例数量上减少了50%以上，验证了该方法的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶车辆、智能交通系统等安全关键领域。通过提高控制系统的安全性和性能，能够有效降低交通事故风险，提升自动化系统的可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Optimal control methods provide solutions to safety-critical problems but easily become intractable. Control Barrier Functions (CBFs) have emerged as a popular technique that facilitates their solution by provably guaranteeing safety, through their forward invariance property, at the expense of some performance loss. This approach involves defining a performance objective alongside CBF-based safety constraints that must always be enforced. Unfortunately, both performance and solution feasibility can be significantly impacted by two key factors: (i) the selection of the cost function and associated parameters, and (ii) the calibration of parameters within the CBF-based constraints, which capture the trade-off between performance and conservativeness. %as well as infeasibility. To address these challenges, we propose a Reinforcement Learning (RL)-based Receding Horizon Control (RHC) approach leveraging Model Predictive Control (MPC) with CBFs (MPC-CBF). In particular, we parameterize our controller and use bilevel optimization, where RL is used to learn the optimal parameters while MPC computes the optimal control input. We validate our method by applying it to the challenging automated merging control problem for Connected and Automated Vehicles (CAVs) at conflicting roadways. Results demonstrate improved performance and a significant reduction in the number of infeasible cases compared to traditional heuristic approaches used for tuning CBF-based controllers, showcasing the effectiveness of the proposed method.