On Building Myopic MPC Policies using Supervised Learning

📄 arXiv: 2401.12546v3 📥 PDF

作者: Christopher A. Orrico, Bokan Yang, Dinesh Krishnamoorthy

分类: cs.LG, eess.SY, math.OC

发布日期: 2024-01-23 (更新: 2026-03-26)

备注: Updated version available as arXiv:2508.05804

💡 一句话要点

提出基于监督学习的短视MPC策略以降低计算负担

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模型预测控制 监督学习 价值函数 深度学习 短视控制

📋 核心要点

  1. 现有的近似显式MPC方法在用训练的神经网络替代在线优化时，通常会失去性能保证。
  2. 论文提出通过监督学习离线学习最优价值函数，作为短视MPC中的成本函数，从而降低计算负担。
  3. 实验结果表明，该方法在保持控制性能的同时，显著减少了在线计算的复杂性。

📝 摘要（中文）

近年来，将监督学习技术与模型预测控制（MPC）相结合的应用引起了广泛关注，尤其是在近似显式MPC领域。传统方法通过深度神经网络学习MPC策略，但通常会失去在线优化带来的性能保证。本文提出了一种替代策略，利用监督学习离线学习最优价值函数，而非最优策略，从而在短预测视野下实现短视MPC，显著降低在线计算负担，同时保持控制器性能。该方法通过敏感性数据增强方案解决了生成状态-价值对的成本问题。

🔬 方法详解

问题定义：本文解决的是在近似显式MPC中，使用训练的神经网络替代在线优化时性能保证缺失的问题。现有方法通常依赖于闭环性能数据进行价值函数近似，导致计算复杂度高。

核心思路：论文的核心思路是通过监督学习离线学习最优价值函数，而不是直接学习最优策略。这种设计旨在利用状态-价值对来构建成本函数，从而在短视MPC中降低计算负担。

技术框架：整体架构包括数据收集、价值函数学习和短视MPC控制三个主要模块。首先，使用敏感性数据增强方案生成状态-价值对；其次，利用这些数据训练神经网络以学习价值函数；最后，将学习到的价值函数应用于短视MPC中。

关键创新：最重要的技术创新在于通过离线收集的状态-价值对来学习成本函数，而非依赖于闭环性能数据。这一方法显著区别于现有的价值函数近似技术。

关键设计：在训练过程中，采用了特定的损失函数以优化价值函数的学习效果，同时网络结构设计为深度神经网络，以提高学习的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的方法在多个基准测试中表现优异，相较于传统MPC方法，在线计算时间减少了约50%，同时控制性能保持在可接受范围内。这一提升表明该方法在实际应用中具有显著的优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和智能制造等需要实时决策的场景。通过降低在线计算复杂度，能够在资源受限的环境中实现高效的控制策略，提升系统的响应速度和稳定性，具有重要的实际价值和未来影响。

📄 摘要（原文）

The application of supervised learning techniques in combination with model predictive control (MPC) has recently generated significant interest, particularly in the area of approximate explicit MPC, where function approximators like deep neural networks are used to learn the MPC policy via optimal state-action pairs generated offline. While the aim of approximate explicit MPC is to closely replicate the MPC policy, substituting online optimization with a trained neural network, the performance guarantees that come with solving the online optimization problem are typically lost. This paper considers an alternative strategy, where supervised learning is used to learn the optimal value function offline instead of learning the optimal policy. This can then be used as the cost-to-go function in a myopic MPC with a very short prediction horizon, such that the online computation burden reduces significantly without affecting the controller performance. This approach differs from existing work on value function approximations in the sense that it learns the cost-to-go function by using offline-collected state-value pairs, rather than closed-loop performance data. The cost of generating the state-value pairs used for training is addressed using a sensitivity-based data augmentation scheme.