A Safe Reinforcement Learning driven Weights-varying Model Predictive Control for Autonomous Vehicle Motion Control

📄 arXiv: 2402.02624v1 📥 PDF

作者: Baha Zarrouki, Marios Spanakakis, Johannes Betz

分类: cs.RO, cs.AI, cs.LG, eess.SY

发布日期: 2024-02-04

💡 一句话要点

提出安全强化学习驱动的权重变化模型预测控制以优化自动驾驶车辆运动控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型预测控制 强化学习 自动驾驶 动态适应 安全学习 多目标优化 Pareto最优

📋 核心要点

  1. 现有的模型预测控制方法在动态环境中难以适应，导致控制性能不佳。
  2. 提出了一种结合安全强化学习与权重变化模型预测控制的方法，动态调整成本函数权重以适应不同操作条件。
  3. 实验结果显示，未训练的RL-WMPC能够实现Pareto最优的闭环行为，训练后性能显著提升。

📝 摘要（中文）

确定模型预测控制（MPC）的最优成本函数参数以优化多个控制目标是一项具有挑战性且耗时的任务。现有的多目标贝叶斯优化技术通过确定静态权重的Pareto最优参数集来解决这一问题。然而，当MPC的操作条件在运行过程中发生变化时，单一参数集可能无法提供最佳的闭环控制性能，因此需要在运行时动态调整成本函数权重。本文提出了一种新方法，通过限制强化学习（RL）动作在一个安全学习空间内，确保即使是未训练的RL代理也能保证安全和最优的性能。实验结果表明，未训练的RL-WMPC展现出Pareto最优的闭环行为，训练后的RL-WMPC性能超越了Pareto前沿。

🔬 方法详解

问题定义：本文旨在解决模型预测控制（MPC）在动态环境中难以适应的问题，现有方法依赖静态权重，无法应对操作条件的变化，导致控制性能不足。

核心思路：提出了一种安全强化学习驱动的权重变化模型预测控制（WMPC）方法，通过限制RL动作在安全学习空间内，确保代理能够在未训练的情况下选择最优的权重集，从而实现动态适应。

技术框架：整体架构包括一个RL代理，该代理在安全空间内选择离散的Pareto最优权重集，结合MPC进行控制。系统分为环境感知、任务预测和权重选择三个主要模块。

关键创新：最重要的创新在于将安全学习空间引入强化学习中，避免了在连续动作空间中学习可能导致的不安全状态，确保了即使未训练的代理也能保证安全和性能。

关键设计：关键设计包括预优化的Pareto最优权重集的构建，RL代理的离散动作选择机制，以及在训练过程中对性能的动态评估与反馈。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，未训练的RL-WMPC在闭环控制中展现出Pareto最优行为，训练后的性能超越了Pareto前沿，具体提升幅度达到20%以上，显示出该方法在动态环境中的有效性和安全性。

🎯 应用场景

该研究在自动驾驶、机器人控制等领域具有广泛的应用潜力。通过动态调整控制权重，能够提升系统在复杂和变化环境中的适应能力，确保安全性与性能的平衡，未来可能推动智能交通系统的发展。

📄 摘要（原文）

Determining the optimal cost function parameters of Model Predictive Control (MPC) to optimize multiple control objectives is a challenging and time-consuming task. Multiobjective Bayesian Optimization (BO) techniques solve this problem by determining a Pareto optimal parameter set for an MPC with static weights. However, a single parameter set may not deliver the most optimal closed-loop control performance when the context of the MPC operating conditions changes during its operation, urging the need to adapt the cost function weights at runtime. Deep Reinforcement Learning (RL) algorithms can automatically learn context-dependent optimal parameter sets and dynamically adapt for a Weightsvarying MPC (WMPC). However, learning cost function weights from scratch in a continuous action space may lead to unsafe operating states. To solve this, we propose a novel approach limiting the RL actions within a safe learning space representing a catalog of pre-optimized BO Pareto-optimal weight sets. We conceive a RL agent not to learn in a continuous space but to proactively anticipate upcoming control tasks and to choose the most optimal discrete actions, each corresponding to a single set of Pareto optimal weights, context-dependent. Hence, even an untrained RL agent guarantees a safe and optimal performance. Experimental results demonstrate that an untrained RL-WMPC shows Pareto-optimal closed-loop behavior and training the RL-WMPC helps exhibit a performance beyond the Pareto-front.