Reinforcement Learning-based Dynamic Adaptation for Sampling-Based Motion Planning in Agile Autonomous Driving

📄 arXiv: 2510.10567v1 📥 PDF

作者: Alexander Langmann, Yevhenii Tokarev, Mattia Piccinini, Korbinian Moller, Johannes Betz

分类: cs.RO

发布日期: 2025-10-12

备注: 8 pages, submitted to the IEEE ICRA 2026, Vienna, Austria

💡 一句话要点

提出基于强化学习的动态自适应采样运动规划，用于敏捷自主驾驶

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 运动规划 自主驾驶 采样算法 动态自适应

📋 核心要点

  1. 采样轨迹规划器在敏捷自主驾驶中应用广泛，但其性能受限于手动调整的静态代价函数权重，导致策略妥协。
  2. 本文提出使用强化学习智能体动态切换底层轨迹规划器的代价函数参数，实现高层行为选择和自适应规划。
  3. 仿真实验表明，该方法在自主赛车中实现了更低的碰撞率和更快的超车速度，提升了安全性和竞争性。

📝 摘要（中文）

本文提出了一种基于强化学习（RL）的动态自适应方法，用于敏捷自主驾驶中的采样轨迹规划。该方法使用RL智能体作为高层行为选择器，在运行时动态切换底层解析轨迹规划器的代价函数参数。在自主赛车环境的仿真实验中，与最先进的静态规划器相比，该方法实现了0%的碰撞率，并将超车时间缩短了高达60%。该智能体能够动态切换激进和保守行为，实现静态配置无法实现的交互式操作。结果表明，集成强化学习作为高层选择器能够解决自主赛车规划器中安全性和竞争性之间的固有权衡。该方法为更广泛的自主驾驶应用提供了一种自适应且可解释的运动规划途径。

🔬 方法详解

问题定义：现有的采样轨迹规划器在敏捷自主驾驶中面临着代价函数权重静态的问题。这些权重通常需要手动调整，并且在不同的场景下无法达到最优，导致安全性和性能之间的权衡。静态的代价函数无法根据环境变化动态调整规划策略，限制了自主驾驶车辆的灵活性和适应性。

核心思路：本文的核心思路是利用强化学习（RL）智能体作为高层决策器，动态地调整底层轨迹规划器的代价函数参数。通过学习不同场景下的最优代价函数配置，RL智能体能够根据当前环境选择合适的行为策略，从而在安全性和性能之间取得更好的平衡。这种动态调整的策略使得车辆能够根据实际情况采取激进或保守的驾驶风格。

技术框架：该方法的技术框架包含两个主要模块：底层轨迹规划器和高层RL智能体。底层轨迹规划器负责生成满足车辆运动学和动力学约束的轨迹，并根据给定的代价函数评估轨迹的优劣。高层RL智能体则根据当前环境状态，选择一组代价函数参数，传递给底层轨迹规划器。整个系统通过不断迭代，RL智能体学习到最优的代价函数选择策略。

关键创新：该方法最重要的技术创新点在于将强化学习与传统的采样轨迹规划器相结合，实现了代价函数的动态自适应调整。与传统的静态代价函数方法相比，该方法能够根据环境变化动态调整规划策略，从而在安全性和性能之间取得更好的平衡。这种动态调整的策略使得车辆能够根据实际情况采取激进或保守的驾驶风格，提高了车辆的适应性和灵活性。

关键设计：RL智能体使用深度Q网络（DQN）进行训练，状态空间包括车辆的速度、位置、与赛道中心的距离等信息，动作空间为离散的代价函数参数组合。奖励函数的设计考虑了安全性（避免碰撞）、速度和轨迹平滑性。底层轨迹规划器采用解析方法，能够快速生成满足车辆运动学和动力学约束的轨迹。通过精心设计的奖励函数和状态空间，RL智能体能够学习到最优的代价函数选择策略。

📊 实验亮点

在自主赛车仿真环境中，该方法与最先进的静态规划器相比，实现了0%的碰撞率，并将超车时间缩短了高达60%。实验结果表明，该方法能够有效地提高自主驾驶车辆的安全性和竞争性。此外，该方法还能够实现静态配置无法实现的交互式操作，例如动态切换激进和保守行为。

🎯 应用场景

该研究成果可应用于各种自主驾驶场景，例如自动驾驶出租车、物流配送车辆和无人清扫车等。通过动态调整运动规划策略，车辆能够更好地适应复杂的交通环境，提高行驶效率和安全性。此外，该方法还可以扩展到其他机器人领域，例如无人机和水下机器人，实现更加智能和灵活的运动控制。

📄 摘要（原文）

Sampling-based trajectory planners are widely used for agile autonomous driving due to their ability to generate fast, smooth, and kinodynamically feasible trajectories. However, their behavior is often governed by a cost function with manually tuned, static weights, which forces a tactical compromise that is suboptimal across the wide range of scenarios encountered in a race. To address this shortcoming, we propose using a Reinforcement Learning (RL) agent as a high-level behavioral selector that dynamically switches the cost function parameters of an analytical, low-level trajectory planner during runtime. We show the effectiveness of our approach in simulation in an autonomous racing environment where our RL-based planner achieved 0% collision rate while reducing overtaking time by up to 60% compared to state-of-the-art static planners. Our new agent now dynamically switches between aggressive and conservative behaviors, enabling interactive maneuvers unattainable with static configurations. These results demonstrate that integrating reinforcement learning as a high-level selector resolves the inherent trade-off between safety and competitiveness in autonomous racing planners. The proposed methodology offers a pathway toward adaptive yet interpretable motion planning for broader autonomous driving applications.