PlanRL: A Trajectory Planning Architecture for Reinforcement Learning-based Driving Experts

📄 arXiv: 2606.26858v1 📥 PDF

作者: Joonhee Lim, Yongjae Lee, Jangho Shin, Dongsuk Kum

分类: cs.RO

发布日期: 2026-06-25

备注: Accepted at IROS 2026

💡 一句话要点

提出PlanRL以解决RL驾驶专家的可解释性与规划复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自动驾驶 轨迹规划 多项式规划 Frenet框架 运动学可行性 CARLA基准测试

📋 核心要点

  1. 现有的RL驾驶专家主要输出控制命令，缺乏可解释性且学习复杂道路几何时面临高空间复杂度。
  2. 本文提出将RL策略与多项式轨迹规划器相结合，采用Frenet框架简化道路几何，促进策略学习。
  3. 在CARLA基准测试中，本文方法在驾驶评分上提升了5%和11%，成功率提高了8%和19%。

📝 摘要（中文）

强化学习（RL）已成为开发自动驾驶专家的重要框架。然而，现有的RL专家主要输出直接控制命令（如油门、转向），缺乏可解释性，学习道路几何形状时空间复杂度高，并且与现代端到端规划架构兼容性差。为了解决这些问题，本文提出了一种新颖的轨迹规划架构，将RL策略与基于多项式的轨迹规划器相结合。通过采用Frenet框架坐标系，我们的方法将复杂的道路几何简化为曲线框架，提供了结构化的坐标先验，促进了策略学习。此外，我们在规划阶段中引入了运动学可行性检查，以确保生成的轨迹在车辆的物理限制内，从而有效减轻了基于规划系统中常见的累积跟踪误差。我们在CARLA基准测试中评估了该方法，结果显著优于现有的最先进控制基于RL专家。

🔬 方法详解

问题定义：本文旨在解决现有RL驾驶专家在可解释性、空间复杂性及与现代规划架构的兼容性不足的问题。现有方法主要输出直接控制命令，导致难以理解和应用。

核心思路：我们提出了一种新颖的轨迹规划架构，将RL策略与多项式轨迹规划器结合，通过Frenet框架坐标系简化复杂道路几何，从而提高策略学习的效率和可解释性。

技术框架：整体架构包括RL策略模块和多项式轨迹规划器。RL策略负责决策生成，而轨迹规划器则根据生成的策略输出可行的轨迹，确保其在车辆物理限制内。

关键创新：最重要的创新在于将RL与多项式轨迹规划相结合，采用Frenet框架坐标系提供结构化先验，显著提高了轨迹生成的可行性和准确性。

关键设计：在设计中，我们引入了运动学可行性检查，确保生成的轨迹符合车辆的物理限制。此外，损失函数的设计考虑了跟踪误差的最小化，以提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CARLA基准测试中，PlanRL方法在驾驶评分上分别提升了5%和11%，成功率提高了8%和19%。这些结果表明，本文提出的架构在性能上显著优于现有的最先进控制基于RL专家，展示了其在实际应用中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在自动驾驶领域。通过提高驾驶专家的可解释性和规划能力，PlanRL可以在复杂城市环境中实现更安全、更高效的自动驾驶。此外，该方法的创新架构也为未来的智能交通系统提供了新的思路和技术基础。

📄 摘要（原文）

Reinforcement learning (RL) has become a prominent framework for developing driving experts in autonomous vehicles. However, most existing RL-based experts are designed to output direct control commands (e.g., throttle, steering), which suffer from a lack of interpretability, high spatial complexity in learning road geometries, and poor compatibility with modern end-to-end planning architectures. To address these limitations, we propose a novel trajectory planning architecture for RL driving experts that integrates an RL policy with a polynomial-based trajectory planner. By employing a Frenet-frame coordinate system, our method simplifies complex road geometries into a curvilinear framework, offering a structured coordinate prior that facilitates policy learning. Furthermore, we incorporate a kinematic feasibility check into the planning stage to ensure that generated trajectories remain within the vehicle's physical limits, effectively mitigating cumulative tracking errors typically found in planning-based systems. We evaluate our approach on key CARLA benchmarks, where it significantly outperforms existing state-of-the-art control-based RL experts. On the CARLA Offline Leaderboard v1 and NoCrash benchmarks, our method improves the driving score by 5% and 11%, respectively, and increases the success rate by 8% and 19%.