Policy Optimization with Differentiable MPC: Convergence Analysis under Uncertainty

📄 arXiv: 2601.01940v1 📥 PDF

作者: Riccardo Zuliani, Efe C. Balta, John Lygeros

分类: eess.SY, math.OC

发布日期: 2026-01-05

💡 一句话要点

提出基于可微MPC的策略优化方法，结合递归系统辨识，提升不确定性下的控制性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 策略优化 模型预测控制 系统辨识 递归最小二乘 梯度下降

📋 核心要点

  1. 现有基于模型的策略优化方法依赖于精确的动态模型，模型不准确会严重影响控制器性能和优化算法的收敛性。
  2. 该论文提出将基于梯度的策略优化与递归系统辨识相结合，从而在不确定性下也能保证收敛到最优控制器设计。
  3. 通过多个控制示例验证了所提出方法的有效性，表明其在实际控制问题中具有良好的应用前景。

📝 摘要（中文）

基于模型的策略优化是一种成熟的框架，可用于设计各种控制应用中可靠且高性能的控制器。最近，这种方法已扩展到模型预测控制策略，其中显式动态模型嵌入在控制律中。然而，由此产生的控制器的性能以及相关优化算法的收敛性，关键取决于模型的准确性。在本文中，我们证明了将基于梯度的策略优化与递归系统辨识相结合，可以确保收敛到最优控制器设计，并在多个控制示例中展示了我们的发现。

🔬 方法详解

问题定义：论文旨在解决模型预测控制（MPC）策略优化中，由于动态模型不准确导致控制器性能下降和优化算法难以收敛的问题。现有方法对模型精度要求高，在实际应用中难以满足。

核心思路：论文的核心思路是将基于梯度的策略优化与递归系统辨识相结合。策略优化负责调整控制器参数，而递归系统辨识则负责在线更新动态模型，从而使控制器能够适应不确定性并逐步逼近最优解。

技术框架：整体框架包含两个主要模块：策略优化模块和系统辨识模块。策略优化模块使用梯度下降等方法更新控制器参数，目标是最小化控制成本。系统辨识模块利用递归最小二乘等方法，根据系统输入输出数据在线更新动态模型参数。这两个模块相互作用，共同提升控制性能。

关键创新：最重要的创新点在于将策略优化和系统辨识有机结合，形成一个闭环学习系统。策略优化为系统辨识提供控制输入，系统辨识为策略优化提供更准确的模型信息，从而实现协同优化。这种方法能够有效应对模型不确定性，提高控制器的鲁棒性和适应性。

关键设计：论文可能涉及的关键设计包括：1) 策略优化器的选择（如Adam、SGD等）；2) 系统辨识算法的选择（如递归最小二乘、卡尔曼滤波等）；3) 损失函数的设计，通常包括控制成本和正则化项；4) 递归系统辨识中的遗忘因子设置，用于平衡新旧数据的影响。

📊 实验亮点

论文通过多个控制示例验证了所提出方法的有效性。具体实验结果（文中未提供具体数值）表明，与传统的策略优化方法相比，该方法能够更快地收敛到最优控制器设计，并且在模型不确定性下具有更好的鲁棒性。这些实验结果为该方法的实际应用提供了有力支持。

🎯 应用场景

该研究成果可应用于各种需要高精度控制的领域，例如机器人控制、自动驾驶、过程控制等。通过结合策略优化和系统辨识，可以设计出更加鲁棒和自适应的控制器，从而提高系统的性能和可靠性。未来，该方法有望在复杂动态环境下的控制问题中发挥重要作用。

📄 摘要（原文）

Model-based policy optimization is a well-established framework for designing reliable and high-performance controllers across a wide range of control applications. Recently, this approach has been extended to model predictive control policies, where explicit dynamical models are embedded within the control law. However, the performance of the resulting controllers, and the convergence of the associated optimization algorithms, critically depends on the accuracy of the models. In this paper, we demonstrate that combining gradient-based policy optimization with recursive system identification ensures convergence to an optimal controller design and showcase our finding in several control examples.