Adaptive Stochastic Nonlinear Model Predictive Control with Look-ahead Deep Reinforcement Learning for Autonomous Vehicle Motion Control

📄 arXiv: 2311.04303v1 📥 PDF

作者: Baha Zarrouki, Chenyang Wang, Johannes Betz

分类: eess.SY, cs.RO

发布日期: 2023-11-07

💡 一句话要点

提出自适应随机非线性模型预测控制以优化自动驾驶车辆运动控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 深度强化学习 模型预测控制 自适应控制 运动控制 自动驾驶 鲁棒性 不确定性处理

📋 核心要点

  1. 现有的模型预测控制方法在处理不确定性和约束时存在保守性，导致闭环性能不足。
  2. 本文提出的自适应随机非线性模型预测控制结合深度强化学习，动态调整控制参数以优化性能。
  3. 实验结果表明，aSNMPC在面对复杂干扰时，显著减少了横向偏差，相较于静态SNMPC表现更优。

📝 摘要（中文）

本文提出了一种基于深度强化学习的自适应随机非线性模型预测控制（aSNMPC），旨在优化不确定性处理、约束稳健性、可行性和闭环性能。通过设计一个强化学习代理，主动预测即将到来的控制任务，并动态确定关键SNMPC参数的最佳组合，尤其是稳健性因子κ和不确定性传播时间范围UPH。研究表明，利用学习到的策略调整约束稳健性因子可减少保守性，提升闭环性能，而调整UPH则能在面对严重干扰时使原本不可行的SNMPC问题变得可行。实验结果展示了aSNMPC在实时运动控制任务中的优越性，尤其是在跟随最佳赛道时，能够有效应对显著的时变干扰。

🔬 方法详解

问题定义：本文旨在解决现有模型预测控制在处理不确定性和约束时的保守性问题，导致闭环性能不足。现有方法在面对复杂环境时，常常无法有效适应动态变化的控制任务。

核心思路：论文提出了一种基于深度强化学习的自适应随机非线性模型预测控制（aSNMPC），通过强化学习代理动态调整关键参数，如稳健性因子κ和不确定性传播时间范围UPH，以优化控制性能。

技术框架：整体架构包括一个深度强化学习代理和SNMPC控制器。代理负责学习和预测控制任务，并根据环境变化动态调整SNMPC的参数。控制器则执行基于当前状态和学习到的参数的控制策略。

关键创新：论文的主要创新在于结合深度强化学习与SNMPC，首次实现了对控制参数的动态自适应调整，显著提升了控制系统在复杂环境下的鲁棒性和可行性。

关键设计：在设计中，稳健性因子κ和不确定性传播时间范围UPH的选择基于强化学习策略，采用了特定的损失函数来优化控制性能，网络结构则通过多层感知机实现对状态信息的有效处理。实验中还考虑了不同的干扰模型以验证方法的普适性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，aSNMPC在实时运动控制任务中，相较于静态SNMPC，能够在准确和不准确的干扰假设下，显著减少横向偏差，提升闭环性能。具体而言，在面对显著的时变干扰时，aSNMPC的表现优于sSNMPC，展示了其在未知环境中的适应能力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、无人机控制以及其他需要高精度运动控制的机器人系统。通过提升控制系统的鲁棒性和适应性，能够在复杂和动态的环境中实现更安全和高效的自动化操作，未来可能对智能交通系统和智能城市建设产生深远影响。

📄 摘要（原文）

In this paper, we present a Deep Reinforcement Learning (RL)-driven Adaptive Stochastic Nonlinear Model Predictive Control (SNMPC) to optimize uncertainty handling, constraints robustification, feasibility, and closed-loop performance. To this end, we conceive an RL agent to proactively anticipate upcoming control tasks and to dynamically determine the most suitable combination of key SNMPC parameters - foremost the robustification factor $κ$ and the Uncertainty Propagation Horizon (UPH) $T_u$. We analyze the trained RL agent's decision-making process and highlight its ability to learn context-dependent optimal parameters. One key finding is that adapting the constraints robustification factor with the learned policy reduces conservatism and improves closed-loop performance while adapting UPH renders previously infeasible SNMPC problems feasible when faced with severe disturbances. We showcase the enhanced robustness and feasibility of our Adaptive SNMPC (aSNMPC) through the real-time motion control task of an autonomous passenger vehicle to follow an optimal race line when confronted with significant time-variant disturbances. Experimental findings demonstrate that our look-ahead RL-driven aSNMPC outperforms its Static SNMPC (sSNMPC) counterpart in minimizing the lateral deviation both with accurate and inaccurate disturbance assumptions and even when driving in previously unexplored environments.