Accelerating Reinforcement Learning via MPC Solver-Gradient Guidance for Weights-varying MPC

📄 arXiv: 2609.01061v1 📥 PDF

作者: Baha Zarrouki, Arslan Thobani, Jasper Hoffmann, Mattia Piccinini, Rudolf Reiter, Felix Jahncke, Sébastien Gros, Davide Scaramuzza, Johannes Betz

分类: cs.RO, cs.LG, eess.SY

发布日期: 2026-09-01

备注: Submitted to IEEE Transactions on Robotics (T-RO). 18 pages, 13 figures

💡 一句话要点

提出SG-RL以解决MPC权重在线适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型预测控制 强化学习 求解器梯度 在线适应 样本效率 自主驾驶 机器人控制

📋 核心要点

  1. 现有方法在动态环境中使用固定的MPC参数，导致性能下降，难以适应变化的条件。
  2. 论文提出SG-RL，通过结合求解器梯度与强化学习，优化MPC成本权重的在线适应能力。
  3. SG-RL在两个自主赛车平台上表现出色，样本效率显著提高，且在未见环境中也能实现良好泛化。

📝 摘要（中文）

在模型预测控制（MPC）中，成本函数权重影响闭环行为，但固定参数在变化条件下往往表现不佳，促使在线适应的需求。学习此类策略困难，因为行为隐含依赖于数值MPC解，导致非线性和潜在的非光滑性。本文提出了解决方案SG-RL，通过引入求解器梯度指导强化学习（RL），在保持采样闭环回报为目标的同时，利用有界的求解器导数梯度作为辅助指导，以提高稳定性和样本效率。实验结果表明，SG-RL在两个全尺度自主赛车平台上，样本减少最多可达70.6%，并且在闭环回报上超越GB-PL基线至少54%。

🔬 方法详解

问题定义：本文旨在解决模型预测控制（MPC）中成本函数权重固定导致的适应性不足问题。现有方法在动态环境中表现不佳，难以有效学习在线适应策略。

核心思路：SG-RL通过引入求解器梯度指导强化学习，优化闭环回报，同时利用求解器导数的低方差特性来提高样本效率和稳定性。

技术框架：SG-RL框架基于近端策略优化（PPO），包含四个模块：求解器梯度引导的演员更新缩放、策略损失、优势估计和价值函数学习。

关键创新：SG-RL的主要创新在于将求解器梯度作为辅助信息，解决了传统RL方法的样本效率低和模型不匹配偏差问题，显著提升了学习性能。

关键设计：在SG-RL中，采用了有界的求解器导数作为指导信号，设计了适应性的损失函数和网络结构，以确保在不同环境下的稳定性和高效性。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个全尺度自主赛车平台上，SG-RL实现了最高70.6%的样本减少，同时在闭环回报上超越了GB-PL基线至少54%。此外，SG-RL在未见环境中也展现出良好的泛化能力，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和智能制造等。通过提高MPC的在线适应能力，SG-RL能够在动态和不确定环境中实现更高效的决策，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

In Model Predictive Control (MPC), cost-function weights shape closed-loop behavior, yet changing conditions often make fixed parametrizations suboptimal and motivate context-dependent online adaptation. Learning such policies is difficult because behavior depends implicitly on numerical MPC solutions, producing nonlinear, potentially nonsmooth, long-horizon dependencies on policy parameters. This creates a bias-variance tradeoff: Reinforcement Learning (RL) optimizes realized closed-loop return from environment samples but is sample-inefficient, whereas Gradient-Based Policy Learning (GB-PL) uses low-variance solver gradients from differentiable MPC to optimize surrogate losses on predicted trajectories but can be biased under model mismatch. We propose Solver-Gradient Guided Reinforcement Learning (SG-RL), a solver-sensitivity augmentation for RL-based online MPC cost-weight adaptation. SG-RL keeps sampled closed-loop return as the objective and uses bounded solver-derived gradients as auxiliary guidance to improve stability and sample efficiency. We instantiate SG-RL in Proximal Policy Optimization (PPO) with four modular algorithms that inject solver-gradient guidance into actor-update scaling, policy loss, advantage estimation, and value-function learning. On two full-scale autonomous racing platforms with intentional model mismatch, SG-RL reaches PPO's best closed-loop return with up to 70.6% fewer samples, outperforms GB-PL baselines by at least 54% in closed-loop return, and generalizes zero-shot to unseen environments.