Model-Free Load Frequency Control of Nonlinear Power Systems Based on Deep Reinforcement Learning

📄 arXiv: 2403.04374v1 📥 PDF

作者: Xiaodi Chen, Meng Zhang, Zhengguang Wu, Ligang Wu, Xiaohong Guan

分类: eess.SY, cs.AI

发布日期: 2024-03-07

💡 一句话要点

提出无模型负荷频率控制方法以解决非线性电力系统问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 负荷频率控制 深度强化学习 非线性系统 电力系统 深度确定性策略梯度 仿真网络 控制策略

📋 核心要点

  1. 现有的负荷频率控制方法依赖于准确的电力系统模型，忽视了系统的非线性特性，限制了控制效果。
  2. 本文提出了一种基于深度确定性策略梯度的无模型LFC方法，通过仿真网络模拟系统动态，优化控制策略。
  3. 仿真结果显示，所提控制器在生成控制动作方面表现出色，并在非线性电力系统中展现出强大的适应能力。

📝 摘要（中文）

负荷频率控制（LFC）在电力系统中广泛应用，以稳定频率波动并保证电力质量。然而，现有的LFC方法大多依赖于准确的电力系统建模，通常忽视系统的非线性特性，从而限制了控制器的性能。为了解决这些问题，本文提出了一种基于深度确定性策略梯度（DDPG）框架的无模型LFC方法。该方法建立了一个仿真网络以模拟电力系统动态。在定义动作价值函数后，仿真网络被用于控制动作评估，而不是使用评论网络。然后，通过基于零阶优化（ZOO）和反向传播算法估计策略梯度，有效优化了演员网络控制器。仿真结果及相应比较表明，所设计的控制器能够生成适当的控制动作，并对非线性电力系统具有较强的适应性。

🔬 方法详解

问题定义：本文旨在解决现有负荷频率控制方法对电力系统建模的依赖性及其对非线性特性的忽视，这些问题限制了控制器的性能和适应性。

核心思路：提出了一种无模型的LFC方法，利用深度强化学习中的深度确定性策略梯度（DDPG）框架，通过仿真网络来模拟电力系统的动态行为，从而实现更灵活的控制策略。

技术框架：整体架构包括仿真网络、动作价值函数定义、控制动作评估和演员网络优化四个主要模块。仿真网络用于动态模拟，动作价值函数用于评估控制效果，演员网络则负责生成控制策略。

关键创新：最重要的创新在于使用仿真网络替代传统的评论网络进行控制动作评估，这一设计使得控制器能够更好地适应非线性系统的动态特性。

关键设计：在参数设置上，采用了零阶优化（ZOO）和反向传播算法来估计策略梯度，确保了演员网络的有效优化。网络结构设计上，仿真网络和演员网络的结合使得控制策略的生成更加高效和准确。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的控制器在非线性电力系统中能够生成适当的控制动作，相较于传统方法，控制效果显著提升，表现出更强的适应能力和稳定性。

🎯 应用场景

该研究的潜在应用领域包括电力系统的自动化控制、智能电网管理以及可再生能源的集成。通过提高负荷频率控制的适应性和性能，能够有效提升电力系统的稳定性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Load frequency control (LFC) is widely employed in power systems to stabilize frequency fluctuation and guarantee power quality. However, most existing LFC methods rely on accurate power system modeling and usually ignore the nonlinear characteristics of the system, limiting controllers' performance. To solve these problems, this paper proposes a model-free LFC method for nonlinear power systems based on deep deterministic policy gradient (DDPG) framework. The proposed method establishes an emulator network to emulate power system dynamics. After defining the action-value function, the emulator network is applied for control actions evaluation instead of the critic network. Then the actor network controller is effectively optimized by estimating the policy gradient based on zeroth-order optimization (ZOO) and backpropagation algorithm. Simulation results and corresponding comparisons demonstrate the designed controller can generate appropriate control actions and has strong adaptability for nonlinear power systems.