Discretionary Lane-Change Decision and Control via Parameterized Soft Actor-Critic for Hybrid Action Space

📄 arXiv: 2402.15790v2 📥 PDF

作者: Yuan Lin, Xiao Liu, Zishun Zheng

分类: cs.RO, eess.SY

发布日期: 2024-02-24 (更新: 2024-03-30)

💡 一句话要点

提出基于参数化软演员-评论家算法的自主变道决策与控制方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主驾驶 变道决策 深度强化学习 模型预测控制 参数化软演员-评论家 交通安全 智能交通系统

📋 核心要点

  1. 自主变道任务面临复杂场景和不确定性，现有方法在安全性和效率上存在不足。
  2. 本研究提出结合深度强化学习和模型预测控制的参数化软演员-评论家算法，解决自主变道决策问题。
  3. 实验结果表明，PASAC和MPC在相同条件下均实现0%碰撞率，且PASAC在性能上与MPC相当。

📝 摘要（中文）

本研究聚焦于自主驾驶领域中的自主变道任务。自主变道在提升交通流、减轻驾驶负担和降低交通事故风险方面具有重要作用。然而，由于变道场景的复杂性和不确定性，自主变道功能仍面临挑战。我们使用深度强化学习（DRL）和模型预测控制（MPC）进行自主变道模拟，采用参数化软演员-评论家（PASAC）算法训练DRL变道策略，输出离散变道决策和连续纵向加速。同时，基于不同车道的最小预测跟车成本，使用MPC进行车道选择。首次比较了DRL和MPC在变道决策中的表现，结果显示在相同的奖励/成本函数和交通流下，MPC和PASAC均实现了0%的碰撞率，PASAC在平均奖励/成本和车速方面表现与MPC相当。

🔬 方法详解

问题定义：本研究旨在解决自主驾驶中的变道决策问题，现有方法在复杂和不确定的变道场景中面临安全性和效率的挑战。

核心思路：提出参数化软演员-评论家（PASAC）算法，结合深度强化学习和模型预测控制，输出离散的变道决策和连续的纵向加速，旨在提高变道的安全性和效率。

技术框架：整体架构包括两个主要模块：使用PASAC进行变道决策和使用MPC进行车道选择。PASAC负责生成变道策略，而MPC则基于预测的车跟随成本选择最优车道。

关键创新：首次将深度强化学习与模型预测控制结合应用于自主变道决策，比较了两者在变道决策中的性能，展示了PASAC在复杂场景下的有效性。

关键设计：在PASAC中，设计了适应于离散和连续动作空间的网络结构，损失函数考虑了安全性和效率，确保在训练过程中优化变道决策的同时降低碰撞风险。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在相同的奖励/成本函数和交通流条件下，PASAC和MPC均实现了0%的碰撞率，且PASAC在平均奖励/成本和车速方面表现与MPC相当，表明其在自主变道决策中的有效性。

🎯 应用场景

该研究的成果可广泛应用于自动驾驶汽车的变道决策系统，提升交通安全性和流畅性。未来，随着技术的进一步发展，可能在智能交通系统中发挥更大作用，促进自动驾驶技术的普及与应用。

📄 摘要（原文）

This study focuses on a crucial task in the field of autonomous driving, autonomous lane change. Autonomous lane change plays a pivotal role in improving traffic flow, alleviating driver burden, and reducing the risk of traffic accidents. However, due to the complexity and uncertainty of lane-change scenarios, the functionality of autonomous lane change still faces challenges. In this research, we conducted autonomous lane-change simulations using both deep reinforcement learning (DRL) and model predictive control (MPC). Specifically, we used the parameterized soft actor--critic (PASAC) algorithm to train a DRL-based lane-change strategy to output both discrete lane-change decisions and continuous longitudinal vehicle acceleration. We also used MPC for lane selection based on the smallest predictive car-following costs for the different lanes. For the first time, we compared the performance of DRL and MPC in the context of lane-change decisions. The simulation results indicated that, under the same reward/cost function and traffic flow, both MPC and PASAC achieved a collision rate of 0%. PASAC demonstrated a comparable performance to MPC in terms of average rewards/costs and vehicle speeds.