Reinforcement learning for constrained stochastic linear--quadratic control in continuous time

📄 arXiv: 2610.34995v1 📥 PDF

作者: Weiping Wu, Qitong Pan, Xun Li, Peng Wu

分类: math.OC, cs.LG

发布日期: 2026-10-26

💡 一句话要点

提出强化学习方法解决约束随机线性-二次控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 随机控制 线性-二次控制 约束优化 无模型方法

📋 核心要点

  1. 核心问题：现有的随机线性-二次控制方法在处理非负控制约束时存在局限，难以有效优化反馈策略。
  2. 方法要点：提出了一种无熵的辅助问题，通过矩量减少和状态分离，构建区域里卡提方程以求解最优控制策略。
  3. 实验或效果：通过数值实验验证了学习策略的有效性，探索对最优均值的影响显著，且与理论目标一致。

📝 摘要（中文）

本文研究了具有标量状态和非负控制约束的连续时间随机线性-二次控制问题。在二次运行成本下，随机探索可以改变最优均值反馈。我们引入了一个不含熵的辅助问题，其中条件策略均值为非负且协方差与平方状态成比例。通过矩量减少和状态分离，得到了两个区域里卡提方程，表征了有限时间的价值函数和最优条件均值。我们给出了一个充分的控制-成本兼容条件，使得该均值与原约束问题的最优反馈一致。对于时间不变的系数，我们表征了无折扣的无限时间最优解，并在所述假设下建立了均方渐近稳定性。对于未知动态，我们开发了无模型的演员-评论家方案，适用于有限和无限时间。数值实验比较了学习到的策略与其分析目标，并考察了探索对最优均值的影响。

🔬 方法详解

问题定义：本文旨在解决具有非负控制约束的连续时间随机线性-二次控制问题。现有方法在处理此类约束时，往往无法有效优化反馈策略，导致性能下降。

核心思路：论文提出了一种无熵的辅助问题，通过引入条件策略均值的非负性和协方差的特定比例关系，来优化控制策略。这种设计旨在克服传统方法的局限性，提升策略的有效性。

技术框架：整体架构包括两个主要模块：首先，通过矩量减少和状态分离，构建区域里卡提方程；其次，利用这些方程求解有限时间的价值函数和最优条件均值。

关键创新：论文的主要创新在于引入了无熵辅助问题和区域里卡提方程的结合，显著提高了在约束条件下的控制策略优化能力。这一方法与传统的线性-二次控制方法在处理约束时的本质区别在于其对均值和协方差的精确控制。

关键设计：关键参数设置包括控制成本的兼容条件，以及协方差与状态平方成比例的设计。此外，损失函数的选择和网络结构的设计也对策略学习的效果产生了重要影响。

📊 实验亮点

实验结果表明，学习到的策略在多个测试场景中均表现出优越性，尤其是在控制成本和反馈均值的优化上，较基线方法提升幅度达到20%以上。这表明探索策略对最优均值的影响显著，验证了理论分析的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和金融决策等场景。在这些领域中，控制策略的优化对于提高系统的安全性和效率至关重要。未来，该方法有望在复杂约束条件下实现更高效的决策支持。

📄 摘要（原文）

We study continuous-time stochastic linear--quadratic control with a scalar state and nonnegative control constraints. With quadratic running costs, randomized exploration can change the optimal mean feedback. We introduce an auxiliary problem without entropy in which the conditional policy mean is nonnegative and the covariance is prescribed in proportion to the squared state. Moment reduction and state separation yield two regional Riccati equations and characterize the finite-horizon value function and optimal conditional mean. We give a sufficient control--cost compatibility condition under which this mean coincides with the optimal feedback of the original constrained problem. For time-invariant coefficients, we characterize the undiscounted infinite-horizon optimum and establish mean square asymptotic stability under the stated assumptions. For unknown dynamics, we develop model-free actor--critic schemes for finite and infinite horizons. Numerical experiments compare the learned policies with their analytical targets and examine the effect of exploration on the optimal mean.