Deep Reinforcement Learning for Voltage Control and Renewable Accommodation Using Spatial-Temporal Graph Information

📄 arXiv: 2401.15848v1 📥 PDF

作者: Jinhao Li, Ruichang Zhang, Hao Wang, Zhi Liu, Hongyang Lai, Yanru Zhang

分类: eess.SY

发布日期: 2024-01-29

备注: 14 pages, 15 figures. Accepted by IEEE Transactions on Sustainable Energy

期刊: IEEE Transactions on Sustainable Energy, 2023

DOI: 10.1109/TSTE.2023.3282187

💡 一句话要点

提出深度强化学习策略以解决电压波动与可再生能源接纳问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 深度强化学习 电压控制 可再生能源 时空图卷积网络 配电网络 系统鲁棒性 优化算法

📋 核心要点

  1. 可再生能源的波动性给配电网络带来了电压波动问题，现有控制方法难以有效应对这些不确定性。
  2. 本文提出了一种基于深度强化学习的动态平衡策略，利用时空图卷积网络提取配电网络的时空信息。
  3. 实验结果表明，该策略在多个配电系统中显著提高了电压稳定性和系统鲁棒性，优于传统优化基准。

📝 摘要（中文）

随着可再生能源资源（RERs）在配电网络中的日益集成，电压波动问题日益突出，威胁系统安全并阻碍RERs的进一步应用。为此，本文提出了一种基于深度强化学习（DRL）的策略，旨在动态平衡电压波动控制与可再生能源接纳之间的权衡。该策略利用多粒度注意力机制的时空图卷积网络（MG-ASTGCN），提取配电网络的多时间尺度时空图信息。通过深度确定性策略梯度（DDPG）算法优化马尔可夫决策过程，验证结果显示该策略在多个基准系统中显著优于传统优化方法，并提高了在可再生能源丰富的配电网络中稳定节点电压的能力。

🔬 方法详解

问题定义：本文旨在解决可再生能源接入配电网络后引发的电压波动问题。现有方法在应对RERs带来的不确定性时，往往难以实现有效的电压控制，导致系统安全隐患。

核心思路：提出了一种基于深度强化学习的策略，通过动态平衡电压波动控制与可再生能源接纳的权衡，利用时空图卷积网络提取配电网络的多时间尺度信息，以优化决策过程。

技术框架：整体架构包括时空图卷积网络（MG-ASTGCN）和深度确定性策略梯度（DDPG）算法。MG-ASTGCN通过时空注意力机制和卷积操作，捕捉节点间的时空相关性，DDPG则用于优化决策过程。

关键创新：最重要的创新在于结合了多粒度注意力机制的时空图卷积网络，能够有效提取配电网络的时空特征，从而提升了决策的准确性与效率。与传统方法相比，该方法在动态环境下表现出更强的适应性。

关键设计：在网络结构上，MG-ASTGCN采用了多层卷积和注意力机制，能够处理复杂的时空数据。损失函数设计上，结合了电压稳定性与可再生能源接纳度的综合指标，以指导策略优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的策略在修改后的IEEE 33、69和118-bus径向配电系统中，显著优于传统优化基准，提升了电压稳定性和系统鲁棒性。此外，MG-ASTGCN加速了DDPG的收敛速度，提高了在可再生能源丰富环境下的性能。

🎯 应用场景

该研究的潜在应用领域包括智能电网、可再生能源管理和电力系统优化等。通过提高配电网络的电压稳定性和鲁棒性，能够促进可再生能源的更大规模接入，推动能源转型与可持续发展。未来，该方法有望在实际电力系统中得到广泛应用，提升系统的安全性与经济性。

📄 摘要（原文）

Renewable energy resources (RERs) have been increasingly integrated into distribution networks (DNs) for decarbonization. However, the variable nature of RERs introduces uncertainties to DNs, frequently resulting in voltage fluctuations that threaten system security and hamper the further adoption of RERs. To incentivize more RER penetration, we propose a deep reinforcement learning (DRL)-based strategy to dynamically balance the trade-off between voltage fluctuation control and renewable accommodation. To further extract multi-time-scale spatial-temporal (ST) graphical information of a DN, our strategy draws on a multi-grained attention-based spatial-temporal graph convolution network (MG-ASTGCN), consisting of ST attention mechanism and ST convolution to explore the node correlations in the spatial and temporal views. The continuous decision-making process of balancing such a trade-off can be modeled as a Markov decision process optimized by the deep deterministic policy gradient (DDPG) algorithm with the help of the derived ST information. We validate our strategy on the modified IEEE 33, 69, and 118-bus radial distribution systems, with outcomes significantly outperforming the optimization-based benchmarks. Simulations also reveal that our developed MG-ASTGCN can to a great extent accelerate the convergence speed of DDPG and improve its performance in stabilizing node voltage in an RER-rich DN. Moreover, our method improves the DN's robustness in the presence of generator failures.