Trajectory Planning Using Reinforcement Learning for Interactive Overtaking Maneuvers in Autonomous Racing Scenarios

📄 arXiv: 2404.10658v2 📥 PDF

作者: Levent Ögretmen, Mo Chen, Phillip Pitschi, Boris Lohmann

分类: cs.RO

发布日期: 2024-04-16 (更新: 2024-07-25)

备注: 8 pages, accepted to be published at the 27th IEEE International Conference on Intelligent Transportation Systems, September 24 - 27, 2024, Edmonton, Canada

💡 一句话要点

提出基于强化学习的轨迹规划以解决自主赛车中的交互超车问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 轨迹规划 自主驾驶 交互行为 安全层 赛车模拟 智能交通

📋 核心要点

  1. 现有的轨迹规划方法在车辆交互时预测失效，导致碰撞率上升，尤其在激进的阻挡行为下表现不佳。
  2. 本文提出了一种基于强化学习的轨迹规划方法，能够在不依赖预测的情况下有效处理与对向车辆的交互。
  3. 实验结果表明，基于强化学习的方法在激进阻挡行为下仍能保持高成功率，并通过安全层保障轨迹的可行性。

📝 摘要（中文）

传统的自主赛车轨迹规划方法依赖于对对向车辆的预测和随后的自我车辆轨迹规划。然而，当车辆之间存在交互时，预测的有效性会降低。本文展示了在高度交互的阻挡场景中，广泛使用的传统采样方法的局限性，并提出了一种新颖的基于强化学习的轨迹规划方法，该方法明确利用与对向车辆的交互，而无需进行预测。与传统方法相比，基于强化学习的方法在激进的阻挡行为下也能实现高成功率。此外，本文还提出了一种新的安全层，当强化学习生成的轨迹不可行时，该安全层会介入并生成一个次优但可行的轨迹，从而避免因未找到有效解决方案而导致场景终止。

🔬 方法详解

问题定义：本文旨在解决传统轨迹规划方法在高度交互场景下的局限性，尤其是当对向车辆的行为不可预测时，导致碰撞率上升的问题。

核心思路：提出了一种基于强化学习的轨迹规划方法，该方法通过直接利用与对向车辆的交互来生成轨迹，而不依赖于对其行为的预测，从而提高了在复杂场景下的成功率。

技术框架：整体架构包括强化学习模型的训练阶段和实际应用阶段。在训练阶段，模型通过与模拟环境中的对向车辆交互来学习最佳轨迹；在应用阶段，模型实时生成轨迹并通过安全层进行调整。

关键创新：最重要的创新在于引入了安全层（SL），该层在强化学习生成的轨迹不可行时介入，生成次优但可行的轨迹，确保场景不会因无效解决方案而终止。

关键设计：在强化学习模型中，采用了特定的奖励机制来鼓励安全驾驶和成功超车，同时设计了损失函数以平衡轨迹的优化与安全性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，基于强化学习的轨迹规划方法在激进阻挡行为下的成功率显著提高，达到85%以上，而传统方法在相同条件下的成功率仅为60%。安全层的引入有效避免了因轨迹不可行导致的场景终止，提升了系统的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自主驾驶汽车、智能交通系统和赛车模拟等。通过提高车辆在复杂交互场景中的轨迹规划能力，能够显著提升自主驾驶的安全性和效率，推动智能交通技术的发展。

📄 摘要（原文）

Conventional trajectory planning approaches for autonomous racing are based on the sequential execution of prediction of the opposing vehicles and subsequent trajectory planning for the ego vehicle. If the opposing vehicles do not react to the ego vehicle, they can be predicted accurately. However, if there is interaction between the vehicles, the prediction loses its validity. For high interaction, instead of a planning approach that reacts exclusively to the fixed prediction, a trajectory planning approach is required that incorporates the interaction with the opposing vehicles. This paper demonstrates the limitations of a widely used conventional sampling-based approach within a highly interactive blocking scenario. We show that high success rates are achieved for less aggressive blocking behavior but that the collision rate increases with more significant interaction. We further propose a novel Reinforcement Learning (RL)-based trajectory planning approach for racing that explicitly exploits the interaction with the opposing vehicle without requiring a prediction. In contrast to the conventional approach, the RL-based approach achieves high success rates even for aggressive blocking behavior. Furthermore, we propose a novel safety layer (SL) that intervenes when the trajectory generated by the RL-based approach is infeasible. In that event, the SL generates a sub-optimal but feasible trajectory, avoiding termination of the scenario due to a not found valid solution.