RACE-SM: Reinforcement Learning Based Autonomous Control for Social On-Ramp Merging
作者: Jordan Poots
分类: cs.AI, cs.LG, cs.RO
发布日期: 2024-03-05 (更新: 2024-03-15)
备注: Updated explanation of TTC, page 7
💡 一句话要点
提出基于强化学习的自主控制方法以解决社会化匝道合流问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 自动驾驶 交通合流 社会价值导向 智能交通 安全性 车辆控制
📋 核心要点
- 现有的车辆控制方法主要依赖于规则和优化，缺乏对周围车辆的有效考虑，导致合流时的安全性和社会性不足。
- 本文提出了一种基于深度强化学习的模型，专注于加速和变道决策，明确考虑自我车辆与周围车辆的效用，旨在产生社会可接受的合流行为。
- 仿真结果显示，所提模型在碰撞率方面优于现有文献中的方法，同时有效避免了近失和反社会行为，展现出良好的社会礼仪表现。
📝 摘要（中文）
在人工控制交通的情况下，自主并行式匝道合流仍然是自动驾驶车辆控制中的一个重要问题。现有的非学习型车辆控制方案主要依赖于规则和优化，面临显著挑战。尽管深度强化学习的最新进展显示出潜力，但现有学习型方法对其他高速公路车辆的关注不足，并且常常依赖不准确的交通假设。此外，针对并行式合流的研究相对较少。本文提出了一种新颖的学习模型，专注于加速和变道决策，明确考虑自我车辆及其周围车辆的效用，以产生社会可接受的行为。通过引入社会价值导向的奖励函数，模型能够有效权衡自我车辆和周围车辆的社会合作水平。仿真结果表明，考虑周围车辆在奖励函数设计中的重要性，所提出的模型在碰撞率方面与文献中的方法相当或更优，同时通过直接考虑合流对周围车辆的影响，避免了近失和反社会行为。
🔬 方法详解
问题定义：本文旨在解决自主车辆在并行式匝道合流时面临的安全性和社会性问题。现有方法往往忽视周围车辆的影响，导致合流行为不够理想。
核心思路：提出了一种新颖的学习模型，通过强化学习优化加速和变道决策，明确考虑自我车辆与周围车辆的效用，以实现社会可接受的合流行为。
技术框架：模型包括状态空间、动作空间和奖励函数设计。状态空间涵盖自我车辆及周围车辆的状态信息，动作空间则包括加速和变道决策，奖励函数则基于社会价值导向进行设计。
关键创新：引入社会价值导向的奖励函数，能够有效权衡自我车辆与周围车辆的社会合作水平，这是与现有方法的本质区别。
关键设计：模型的奖励函数分为自我车辆和周围车辆的效用，权重根据模型的社会价值导向进行调整，确保合流行为的社会性和安全性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的模型在碰撞率方面与文献中的方法相当或更优，且有效避免了近失和反社会行为，展现出良好的社会礼仪表现，进一步提升了自动驾驶车辆的安全性和社会接受度。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车的匝道合流控制、智能交通系统的优化以及人机协作交通场景。其实际价值在于提高自动驾驶车辆在复杂交通环境中的安全性和社会适应性，未来可能对智能交通管理产生深远影响。
📄 摘要（原文）
Autonomous parallel-style on-ramp merging in human controlled traffic continues to be an existing issue for autonomous vehicle control. Existing non-learning based solutions for vehicle control rely on rules and optimization primarily. These methods have been seen to present significant challenges. Recent advancements in Deep Reinforcement Learning have shown promise and have received significant academic interest however the available learning based approaches show inadequate attention to other highway vehicles and often rely on inaccurate road traffic assumptions. In addition, the parallel-style case is rarely considered. A novel learning based model for acceleration and lane change decision making that explicitly considers the utility to both the ego vehicle and its surrounding vehicles which may be cooperative or uncooperative to produce behaviour that is socially acceptable is proposed. The novel reward function makes use of Social Value Orientation to weight the vehicle's level of social cooperation and is divided into ego vehicle and surrounding vehicle utility which are weighted according to the model's designated Social Value Orientation. A two-lane highway with an on-ramp divided into a taper-style and parallel-style section is considered. Simulation results indicated the importance of considering surrounding vehicles in reward function design and show that the proposed model matches or surpasses those in literature in terms of collisions while also introducing socially courteous behaviour avoiding near misses and anti-social behaviour through direct consideration of the effect of merging on surrounding vehicles.