Approximate solution of stochastic infinite horizon optimal control problems for constrained linear uncertain systems
作者: Eunhyek Joa, Francesco Borrelli
分类: math.OC, eess.SY
发布日期: 2024-01-23 (更新: 2025-04-23)
备注: Accepted for publication in IEEE Transactions on Automatic Control
💡 一句话要点
提出单步预测的模型预测控制以解决无限时域最优控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 模型预测控制 最优控制 线性不确定系统 数据驱动方法 凸成本 数值仿真 约束满足性
📋 核心要点
- 现有的最优控制方法在处理无限时域问题时，往往面临计算复杂度高和约束满足性不足的挑战。
- 本文提出的MPC方法通过单步预测和数据驱动的方式，利用采样技术和系统状态空间探索来近似最优控制解。
- 实验结果表明，所提方法在数值仿真中表现出色，优于传统的价值迭代方法和学习MPC，显示出显著的性能提升。
📝 摘要（中文）
本文提出了一种单步预测的模型预测控制（MPC）方法，以近似解决约束线性不确定系统的无限时域最优控制问题。该方法旨在增强给定的次优控制器，通过数据驱动的方式实现接近最优的解决方案。具体而言，首先通过对干扰空间的采样来估计凸阶段成本的期望值，其次通过系统状态空间的系统探索来近似最优值函数及其对应的域。我们证明了递归可行性、稳健约束满足性以及以概率收敛到目标集。此外，估计的值函数在局部区域内收敛于最优值函数。通过详细的数值仿真与价值迭代方法及最小确定性等价成本的学习MPC进行比较，验证了所提方法的有效性。
🔬 方法详解
问题定义：本文旨在解决约束线性不确定系统的无限时域最优控制问题。现有方法在处理此类问题时，往往由于计算复杂度和约束满足性不足而面临挑战。
核心思路：论文提出的MPC方法通过单步预测来近似无限时域问题的解决方案，结合数据驱动的方式来估计期望成本和最优值函数，从而实现接近最优的控制效果。
技术框架：整体架构包括两个主要模块：首先，通过对干扰空间的采样来估计凸成本的期望值；其次，通过系统状态空间的探索来近似最优值函数及其域。这些估计结果用于计算MPC中的终端成本和终端集。
关键创新：最重要的技术创新在于将单步预测与数据驱动的方法结合，形成了一种新的近似解法，显著提升了控制器的性能和约束满足性。与现有方法相比，该方法在计算效率和结果精度上具有本质区别。
关键设计：在参数设置上，采用了适应性的采样策略和系统状态空间的系统探索方法，确保了估计的准确性和收敛性。损失函数的设计考虑了凸成本的期望值，确保了控制策略的有效性和稳健性。
📊 实验亮点
实验结果显示，所提MPC方法在数值仿真中显著优于传统价值迭代方法和学习MPC，具体表现为在约束满足性和收敛速度上均有明显提升，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和工业过程控制等。通过提供一种高效的控制策略，能够在复杂和不确定的环境中实现更优的性能，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
We propose a Model Predictive Control (MPC) with a single-step prediction horizon to approximate the solution of infinite horizon optimal control problems with the expected sum of convex stage costs for constrained linear uncertain systems. The proposed method aims to enhance a given sub-optimal controller, leveraging data to achieve a nearly optimal solution for the infinite horizon problem. The method is built on two techniques. First, we estimate the expected values of the convex costs using a computationally tractable approximation, achieved by sampling across the space of disturbances. Second, we implement a data-driven approach to approximate the optimal value function and its corresponding domain, through systematic exploration of the system's state space. These estimates are subsequently used to calculate the terminal cost and terminal set within the proposed MPC. We prove recursive feasibility, robust constraint satisfaction, and convergence in probability to the target set. Furthermore, we prove that the estimated value function converges to the optimal value function in a local region. The effectiveness of the proposed MPC is illustrated with detailed numerical simulations and comparisons with a value iteration method and a Learning MPC that minimizes a certainty equivalent cost.