A Safe Reinforcement Learning Algorithm for Supervisory Control of Power Plants

📄 arXiv: 2401.13020v1 📥 PDF

作者: Yixuan Sun, Sami Khairy, Richard B. Vilim, Rui Hu, Akshay J. Dave

分类: eess.SY, cs.LG

发布日期: 2024-01-23

DOI: 10.1016/j.knosys.2024.112312

💡 一句话要点

提出基于机会约束的强化学习算法以解决电厂监督控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 电厂控制 机会约束 拉格朗日松弛 监督控制 核电 负载跟随

📋 核心要点

  1. 现有的控制理论方法在电厂控制中需要针对每个系统进行精细调节，效率低下且难以适应变化。
  2. 本文提出了一种机会约束强化学习算法，利用拉格朗日松弛将约束优化问题转化为无约束目标，从而简化控制过程。
  3. 实验结果表明，所提方法在负载跟随操作中实现了最小的违规距离和违规率，显著提升了控制性能。

📝 摘要（中文）

传统的控制理论方法需要针对每个系统进行定制化设计和不断调整。在电厂控制中，通常需要精确表示系统动态并相应设计控制方案。无模型强化学习因其能够通过与环境的试错互动学习而成为控制任务的有前景解决方案，避免了对环境动态的显式建模。然而，直接施加状态约束在电厂控制中对标准强化学习方法提出了挑战。为此，本文提出了一种基于近端策略优化的机会约束强化学习算法，用于监督控制。该方法采用拉格朗日松弛将约束优化问题转化为无约束目标，训练的拉格朗日乘子强制执行状态约束。在先进核电厂设计的负载跟随操作中，我们的方法实现了最小的违规距离和违规率。

🔬 方法详解

问题定义：本文旨在解决电厂监督控制中的状态约束问题，现有的强化学习方法在直接施加状态约束时面临挑战，导致控制效果不佳。

核心思路：论文提出的机会约束强化学习算法通过拉格朗日松弛技术，将约束优化问题转化为无约束目标，从而避免了传统方法的复杂性和不确定性。

技术框架：整体架构包括环境建模、策略优化和约束执行三个主要模块。首先，通过与环境的交互收集数据，然后优化策略，最后通过训练的拉格朗日乘子确保状态约束得到满足。

关键创新：最重要的技术创新在于将拉格朗日松弛应用于强化学习中，使得状态约束的执行变得更加灵活和高效，与现有方法相比，显著提高了控制的安全性和可靠性。

关键设计：在算法实现中，设置了适当的拉格朗日乘子和损失函数，以确保在优化过程中有效地控制状态约束，同时采用了深度学习网络结构来增强策略的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提算法在负载跟随操作中实现了最小的违规距离和违规率，相较于传统方法，控制性能显著提升，验证了算法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括核电厂、火电厂等大型能源生产设施的自动化控制。通过提高控制的安全性和效率，能够降低运营成本并提升能源利用率，具有重要的实际价值和社会影响。

📄 摘要（原文）

Traditional control theory-based methods require tailored engineering for each system and constant fine-tuning. In power plant control, one often needs to obtain a precise representation of the system dynamics and carefully design the control scheme accordingly. Model-free Reinforcement learning (RL) has emerged as a promising solution for control tasks due to its ability to learn from trial-and-error interactions with the environment. It eliminates the need for explicitly modeling the environment's dynamics, which is potentially inaccurate. However, the direct imposition of state constraints in power plant control raises challenges for standard RL methods. To address this, we propose a chance-constrained RL algorithm based on Proximal Policy Optimization for supervisory control. Our method employs Lagrangian relaxation to convert the constrained optimization problem into an unconstrained objective, where trainable Lagrange multipliers enforce the state constraints. Our approach achieves the smallest distance of violation and violation rate in a load-follow maneuver for an advanced Nuclear Power Plant design.