Differentiable-by-design Nonlinear Optimization for Model Predictive Control

📄 arXiv: 2509.12692v3 📥 PDF

作者: Riccardo Zuliani, Efe C. Balta, John Lygeros

分类: math.OC, eess.SY

发布日期: 2025-09-16 (更新: 2025-12-01)

💡 一句话要点

提出可微非线性优化方法，用于模型预测控制，提升梯度策略优化性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 非线性优化 模型预测控制 可微编程 梯度优化 控制策略学习

📋 核心要点

  1. 非线性模型预测控制依赖在线求解非线性优化问题，计算成本高昂，且解映射可能不可微，阻碍了梯度优化。
  2. 论文提出一种正则化非线性优化问题的方法，即使原问题不可微，也能获得可微的替代导数，保证解的一致性。
  3. 实验表明，该方法在自由终点时间最优控制和递推范围非线性MPC中有效，验证了其在梯度策略优化中的潜力。

📝 摘要（中文）

近年来，基于非线性优化的控制策略，如非线性模型预测控制，取得了显著成功。这些策略需要在每个时间步在线求解计算量大的非线性优化问题。由此产生的解映射，作为系统测量状态和设计参数的函数，可能不可微，如果控制策略嵌入到基于梯度的策略优化方案中，这将带来重大挑战。我们提出了一种原则性的方法来正则化非线性优化问题，即使在原始问题不可微时也能获得替代导数。该替代问题在设计上是可微的，其解映射与未正则化问题的解一致。我们在自由终点时间最优控制问题和递推范围非线性MPC示例中证明了我们方法的有效性。

🔬 方法详解

问题定义：论文旨在解决非线性模型预测控制（NMPC）中，由于在线求解的非线性优化问题解映射不可微，导致无法有效利用梯度信息进行策略优化的问题。现有方法在处理此类问题时，要么忽略不可微性，导致优化效果不佳，要么采用复杂的近似方法，引入额外的计算负担和误差。

核心思路：论文的核心思路是通过对原非线性优化问题进行正则化，构造一个设计上可微的替代问题。该替代问题的解映射与原问题一致，但具有良好的可微性，从而可以方便地利用梯度信息进行策略优化。这种方法避免了直接处理原问题不可微性的困难，同时保证了优化结果的有效性。

技术框架：该方法主要包含以下几个阶段：1) 建立原始的非线性优化问题，例如NMPC中的优化问题。2) 对该问题进行正则化，引入额外的项，使得新的优化问题在设计上是可微的。3) 求解正则化后的优化问题，得到替代解映射。4) 利用替代解映射的梯度信息进行策略优化。整个框架的关键在于正则化项的设计，需要保证正则化后的问题可微，且解与原问题一致。

关键创新：论文最重要的技术创新在于提出了一种“可微设计”的正则化方法。这种方法不是简单地对目标函数或约束条件进行平滑处理，而是通过精心设计的正则化项，使得整个优化问题在结构上具有可微性。这种方法避免了传统平滑方法可能引入的偏差，保证了优化结果的准确性。

关键设计：论文的关键设计在于正则化项的具体形式。具体来说，正则化项需要满足以下条件：1) 保证正则化后的问题是凸的或具有良好的局部性质，从而保证可微性。2) 保证正则化项在原问题最优解处为零，从而保证正则化后的解与原问题一致。3) 正则化项的梯度容易计算，从而方便进行梯度优化。论文可能采用了二次惩罚项或其他形式的正则化项，具体形式取决于具体的优化问题。

📊 实验亮点

论文在自由终点时间最优控制问题和递推范围非线性MPC示例中验证了该方法的有效性。实验结果表明，即使在原问题不可微的情况下，该方法也能获得与原问题一致的解，并且可以有效地利用梯度信息进行策略优化。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于机器人控制、自动驾驶、过程控制等领域，尤其是在需要在线优化控制策略的场景下。通过利用可微的优化解映射，可以更有效地进行基于梯度的策略学习和优化，提升控制系统的性能和鲁棒性。未来，该方法有望推动更复杂、更智能的控制系统的发展。

📄 摘要（原文）

Nonlinear optimization-based control policies, such as those those arising in nonlinear Model Predictive Control, have seen remarkable success in recent years. These policies require solving computationally demanding nonlinear optimization programs online at each time-step. The resulting solution map, viewed as a function of the measured state of the system and design parameters, may not be differentiable, which poses significant challenges if the control policy is embedded in a gradient-based policy optimization scheme. We propose a principled way to regularize the nonlinear optimization problem, obtaining a surrogate derivative even if when the original problem is not differentiable. The surrogate problem is differentiable by design and its solution map coincides with the solution of the unregularized problem. We demonstrate the effectiveness of our approach in a free-final-time optimal control problem and a receding-horizon nonlinear MPC example.