Safe Reinforcement Learning of Autonomous Highway Driving: A Unified Framework for Safety and Efficiency
作者: Chufei Yan, Zhihao Cui, Yiyan Lv, Taojie Chen, Ning Bian, Yulei Wang
分类: cs.RO
发布日期: 2026-06-12
备注: 20 pages, 5 figures, 7 tables. Preprint version
💡 一句话要点
提出统一安全强化学习框架以解决自主高速驾驶安全与效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 深度强化学习 自主驾驶 专家混合 奖励机器 交通安全 智能交通 车道变换
📋 核心要点
- 现有的深度强化学习方法在自主驾驶训练中难以保证安全性，且在实际部署时难以兼顾安全与效率。
- 本文提出的MoE-RM-SRL框架通过结合安全距离、奖励机器和专家混合，提供了一种新的安全强化学习解决方案。
- 实验结果显示，MoE-RM-SRL在随机双车道交通场景中显著提升了安全性和效率，相较于现有基线有明显改善。
📝 摘要（中文）
深度强化学习（DRL）为高级自主车辆（AVs）的决策提供了有效途径，但其试错特性使得在训练期间难以保证安全，并且在部署时难以兼顾安全与效率。本文提出了一种统一的安全强化学习（SRL）框架，整合了安全距离（SD）、奖励机器（RM）和专家混合（MoE），称为MoE-RM-SRL。该框架在部署时，SD和RM共同塑造了一个规则感知奖励，编码了高速公路交通法规和阶段性目标，从而实现安全可靠的行为而不牺牲效率。在训练过程中，我们引入了一个稀疏门控的MoE层，包含多达11个深度Q网络（DQNs）；基于SD的门控规则激活最小的专家集以进行车道保持和变道，减轻了切换异构控制器（如MPC/基于规则的模块和学习策略）所引起的不稳定性、间断性和冲动瞬态。实验结果表明，MoE-RM-SRL在随机双车道交通中显著提高了安全性和效率，且该框架自然扩展到多车道驾驶以及匝道合并和退出场景。
🔬 方法详解
问题定义：本文旨在解决自主高速驾驶中安全性与效率的矛盾，现有方法在训练阶段难以保证安全，且在实际应用中难以同时满足安全和效率的需求。
核心思路：提出的MoE-RM-SRL框架通过整合安全距离、奖励机器和专家混合，设计了一种规则感知的奖励机制，以确保在遵循交通法规的同时实现高效驾驶。
技术框架：该框架主要包括三个模块：安全距离（SD）模块、奖励机器（RM）模块和稀疏门控的专家混合（MoE）层。SD和RM共同塑造奖励信号，而MoE层通过激活最小的专家集来进行决策。
关键创新：最重要的创新在于引入了稀疏门控的MoE层，能够有效激活适合当前驾驶任务的专家，减少了异构控制器切换带来的不稳定性和冲动瞬态。
关键设计：在MoE层中，最多可包含11个深度Q网络（DQNs），并通过SD的门控规则来选择激活的专家。此外，奖励函数设计上考虑了交通法规和阶段性目标，以确保安全性与效率的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MoE-RM-SRL在随机双车道交通场景中，相较于现有的最先进基线，安全性和效率均有显著提升，具体性能数据未提供，但提升幅度明显，展示了该框架的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车、智能交通系统以及车联网等。通过提升自主驾驶的安全性和效率，该框架能够为未来的智能交通解决方案提供重要支持，促进更安全的道路环境和更高效的交通流动。
📄 摘要（原文）
Deep reinforcement learning (DRL) offers a compelling route to decision-making for advanced autonomous vehicles (AVs), yet its trial-and-error nature makes it difficult to guarantee safety during training and to achieve both safety and efficiency at deployment. We propose a unified safe reinforcement learning (SRL) framework that integrates safe distance (SD), reward machines (RM), and mixture-of-experts (MoE), termed MoE-RM-SRL. For deployment, SD and RM jointly shape a rule-aware reward that encodes highway traffic regulations and stage-wise objectives, enabling safe and reliable behavior without sacrificing efficiency. For training, we introduce a sparsely gated MoE layer comprising up to 11 deep Q-networks (DQNs); an SD-based gating rule activates a minimal set of experts for lane-keeping and lane-changing, mitigating the instability, discontinuities, and impulsive transients commonly induced by switching between heterogeneous controllers (e.g., MPC/rule-based modules and learned policies). We implement the proposed architecture in CARLA and integrate it with a 6-DoF driver-in-the-loop virtual-reality (DiL-VR) platform. Experiments in stochastic two-lane traffic show that MoE-RM-SRL substantially improves safety and efficiency over state-of-the-art baselines, and the framework naturally extends to multi-lane driving as well as on-ramp merging and exiting scenarios.