Safeguarding Multi-Agent Reinforcement Learning for Connected and Automated Vehicles with Recursively Feasible Control Barrier Functions

📄 arXiv: 2611.04957v1 📥 PDF

作者: Jianye Xu, Yousef Sayed, Bassam Alrifaee

分类: cs.RO

发布日期: 2026-11-03

💡 一句话要点

提出备份地平线控制屏障函数以保障多智能体强化学习的安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 控制屏障函数 自动驾驶 安全保障 交通系统 实时过滤器 车辆协调

📋 核心要点

  1. 现有的多智能体强化学习方法缺乏安全保障，尤其是在复杂的交通环境中，容易导致碰撞。
  2. 本文提出的备份地平线控制屏障函数（BH-CBF）能够在控制约束下评估安全性，并考虑精确的几何形状。
  3. 在真实世界的交通仿真中，BH-CBF成功避免了碰撞，并在与人类驾驶员的比较中显著缩短了行驶时间。

📝 摘要（中文）

多智能体强化学习（MARL）在协调连接和自动化车辆方面展现出潜力，但缺乏安全保障。控制屏障函数（CBFs）可以提供这种保障，但在实际应用中，由于控制约束，其优化问题可能变得不可行。此外，CBFs通常会过度近似车辆和道路几何形状，导致保守性。本文提出了备份地平线控制屏障函数（BH-CBF），该方法在所有车辆停止之前沿着一个地平线评估安全性。BH-CBF在控制约束下是递归可行的，并考虑了精确的车辆和道路几何。基于BH-CBF，我们推导出一种完全去中心化的安全过滤器，仅需每步广播一次车辆状态和路线，并在密集交通中保持实时性。通过在真实世界的环形交叉口和交叉口的仿真，BH-CBF避免了所有不安全MARL策略的碰撞，并在每一步保持安全保障。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习在连接和自动化车辆协调中的安全性问题，现有方法在实际应用中常常面临控制约束导致的优化不可行性和几何近似保守性的问题。

核心思路：提出备份地平线控制屏障函数（BH-CBF），通过在车辆停止之前沿着一个时间地平线评估安全性，从而确保在控制约束下的递归可行性，并考虑精确的车辆和道路几何。

技术框架：整体架构包括三个主要模块：首先是基于BH-CBF的安全过滤器，其次是MARL策略的预训练和运行时过滤，最后是在训练循环中对未见地图的碰撞-free微调。

关键创新：BH-CBF的递归可行性和对精确几何的考虑是其主要创新，与现有方法相比，BH-CBF在复杂环境中提供了更高的安全保障。

关键设计：在设计中，BH-CBF的参数设置和损失函数经过精心调整，以确保在动态交通环境中实时性和有效性，同时保持对车辆状态和路线的单次广播需求。

🖼️ 关键图片

fig_0

📊 实验亮点

在真实世界的环形交叉口和交叉口仿真中，BH-CBF成功避免了所有不安全MARL策略的碰撞，并在与1264辆人类驾驶车辆的对比中，平均行驶时间缩短了14%，且没有发生任何碰撞。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在自动驾驶和智能交通系统中。通过保障多智能体系统的安全性，能够有效提升交通效率，减少事故发生率，推动智能交通技术的进一步发展。

📄 摘要（原文）

Multi-Agent Reinforcement Learning (MARL) shows promise in coordinating connected and automated vehicles but offers no safety guarantee. Although Control Barrier Functions (CBFs) can add this guarantee, their optimization problem can become infeasible in practice due to control bounds. Moreover, they often overapproximate vehicle and road geometry, which makes them conservative. This paper proposes the Backup-Horizon CBF (BH-CBF), which evaluates safety along a horizon until all vehicles stop. BH-CBF is recursively feasible under control bounds, and it considers the exact vehicle and road geometry. Based on BH-CBF, we derive a fully decentralized safety filter that only needs a single broadcast of vehicle states and routes per step and stays real-time in dense traffic. We use BH-CBF to safeguard a MARL policy over its life cycle: as a reward during pre-training, as a run-time filter at deployment, and as a filter in the training loop that keeps fine-tuning on unseen maps collision-free. In simulations on real-world maps of a roundabout and an intersection, BH-CBF avoids all collisions of unsafe MARL policies and keeps its safety guarantee at every step. Existing filters either collide, lose the guarantee, or fall back to full braking far more often. In recorded roundabout traffic with 1264 human-driven vehicles over 115 km, our safeguarded policies shorten the median travel time by 14% compared with the human drivers, without any collision.