The Feasibility Theory of Constrained Reinforcement Learning: A Tutorial Study
作者: Yujie Yang, Zhilong Zheng, Masayoshi Tomizuka, Changliu Liu, Shengbo Eben Li
分类: eess.SY
发布日期: 2024-04-15 (更新: 2026-01-29)
期刊: Foundations and Trends in Systems and Control (2026) 13(1)
DOI: 10.1108/FTSYS-03-2026-001
💡 一句话要点
提出约束强化学习的可行性理论以解决安全约束问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 约束强化学习 可行性理论 模型预测控制 安全约束 最优控制 虚拟时间域 策略分析
📋 核心要点
- 现有的可行性理论主要针对最优策略，未能考虑强化学习中的非最优中间策略的可行性分析。
- 论文提出了一种新的可行性理论，通过将策略求解与实施分为虚拟时间域和实时域，定义了多种可行性。
- 通过可视化不同可行区域，论文展示了该理论在紧急制动控制任务中的有效性，提升了约束满足能力。
📝 摘要（中文）
在解决最优控制问题时，满足安全约束是首要关注点。由于存在不可行现象，必须在实施策略之前识别可行区域。现有的可行性理论仅考虑最优策略的可行性，而强化学习通过迭代方式求解最优策略，涉及一系列非最优中间策略，因此也需要对这些非最优策略进行可行性分析。本文提出了一种适用于模型预测控制和强化学习的可行性理论，填补了任意策略可行性分析的空白。我们的理论通过将策略求解和实施解耦为虚拟时间域和实时域，定义了初始和持续的状态及策略可行性及其对应的可行区域，并分析了不同可行区域之间的包含关系。我们还提供了虚拟时间约束设计规则及实用设计工具，帮助实现最大可行区域。
🔬 方法详解
问题定义：本文旨在解决在强化学习和模型预测控制中，如何有效分析和识别可行策略的问题。现有方法仅关注最优策略的可行性，忽视了非最优策略的分析，导致在实际应用中可能无法找到可行解。
核心思路：论文的核心思路是将策略求解和实施分为两个时间域：虚拟时间域和实时域。通过这种分离，可以分别定义初始和持续的可行性，从而全面分析任意策略的可行区域。
技术框架：整体架构包括两个主要阶段：首先在虚拟时间域中进行策略求解，识别可行区域；其次在实时域中实施策略，确保约束的满足。该框架允许对不同策略的可行性进行系统分析。
关键创新：最重要的技术创新在于提出了一个统一的可行性理论，适用于模型预测控制和强化学习，填补了现有理论的空白，使得非最优策略的可行性分析成为可能。
关键设计：论文中设计了虚拟时间约束规则，并提出了可行性函数作为设计工具，帮助实现最大可行区域。此外，回顾了现有的约束公式，指出它们本质上是可行性函数的不同应用形式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的可行性理论在紧急制动控制任务中有效地可视化了不同的可行区域，显著提升了约束满足能力。与传统方法相比，最大可行区域的识别能力得到了显著增强，具体性能数据和提升幅度待进一步验证。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和工业自动化等需要安全约束的最优控制问题。通过提供有效的可行性分析工具，能够在实际应用中提高系统的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Satisfying safety constraints is a priority concern when solving optimal control problems (OCPs). Due to the existence of infeasibility phenomenon, where a constraint-satisfying solution cannot be found, it is necessary to identify a feasible region before implementing a policy. Existing feasibility theories built for model predictive control (MPC) only consider the feasibility of optimal policy. However, reinforcement learning (RL), as another important control method, solves the optimal policy in an iterative manner, which comes with a series of non-optimal intermediate policies. Feasibility analysis of these non-optimal policies is also necessary for iteratively improving constraint satisfaction; but that is not available under existing MPC feasibility theories. This paper proposes a feasibility theory that applies to both MPC and RL by filling in the missing part of feasibility analysis for an arbitrary policy. The basis of our theory is to decouple policy solving and implementation into two temporal domains: virtual-time domain and real-time domain. This allows us to separately define initial and endless, state and policy feasibility, and their corresponding feasible regions. Based on these definitions, we analyze the containment relationships between different feasible regions, which enables us to describe the feasible region of an arbitrary policy. We further provide virtual-time constraint design rules along with a practical design tool called feasibility function that helps to achieve the maximum feasible region. We review most of existing constraint formulations and point out that they are essentially applications of feasibility functions in different forms. We demonstrate our feasibility theory by visualizing different feasible regions under both MPC and RL policies in an emergency braking control task.