Hierarchical Reinforcement Learning for Power Network Topology Control

📄 arXiv: 2311.02129v1 📥 PDF

作者: Blazej Manczak, Jan Viebahn, Herke van Hoof

分类: cs.LG, cs.AI, eess.SY

发布日期: 2023-11-03

💡 一句话要点

提出分层强化学习框架以解决电力网络拓扑控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 分层强化学习 电力网络 拓扑控制 高维动作空间 智能电网 实时监控 优化管理

📋 核心要点

  1. 电力网络控制的组合性质使得现有的优化方法和学习控制器面临挑战，尤其是在高维动作空间中。
  2. 提出的分层强化学习框架通过三个层次的动作抽象来解决电力网络拓扑控制问题，提升了控制的灵活性和效率。
  3. 实验结果表明，采用强化学习的三层代理在复杂任务中表现优于其他基线方法，显示出显著的性能提升。

📝 摘要（中文）

在高维动作空间中进行学习是将强化学习应用于现实系统的关键挑战。本文研究了使用强化学习方法控制电力网络的可能性，提出了一种针对电力网络拓扑控制的分层强化学习框架。该框架由三个层次的动作抽象组成，最高层为电力网络操作的长期任务，分解为两个扩展动作：'不采取行动'与'提出拓扑变更'。中间层的动作空间包括所有可控变电站，而最低层则是所选变电站的所有配置。通过该框架，训练了多个电力网络代理，并与标准基线方法进行了比较，发现采用中间层和最低层均使用强化学习的三层代理在最困难的任务中表现最佳。

🔬 方法详解

问题定义：本文旨在解决电力网络拓扑控制中的高维动作空间问题。现有方法在处理复杂的电力网络时面临组合优化的挑战，难以有效控制。

核心思路：提出的分层强化学习框架通过将控制任务分解为三个层次，分别处理长期任务、可控变电站和具体配置，从而简化决策过程，提高控制效率。

技术框架：框架分为三个层次：最高层为电力网络的长期操作任务，包含'不采取行动'和'提出拓扑变更'；中间层为所有可控变电站的动作空间；最低层为所选变电站的所有配置。

关键创新：该框架的创新在于通过分层结构有效应对高维动作空间的复杂性，特别是在最困难的任务中，采用强化学习的三层代理显著优于传统方法。

关键设计：在最高层采用规则基础策略，中间层使用多种先进的强化学习算法进行训练，最低层则结合强化学习和贪婪算法，确保了不同层次的策略协调与优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用强化学习的三层代理在最困难的任务中表现优于其他所有代理，尤其是在复杂的电力网络控制场景中，性能提升显著，具体数据未披露。

🎯 应用场景

该研究的潜在应用领域包括电力系统的实时监控与控制、智能电网的优化管理以及可再生能源的集成。通过提升电力网络的控制效率，可以有效保障电力供应的安全性与稳定性，具有重要的实际价值和社会影响。

📄 摘要（原文）

Learning in high-dimensional action spaces is a key challenge in applying reinforcement learning (RL) to real-world systems. In this paper, we study the possibility of controlling power networks using RL methods. Power networks are critical infrastructures that are complex to control. In particular, the combinatorial nature of the action space poses a challenge to both conventional optimizers and learned controllers. Hierarchical reinforcement learning (HRL) represents one approach to address this challenge. More precisely, a HRL framework for power network topology control is proposed. The HRL framework consists of three levels of action abstraction. At the highest level, there is the overall long-term task of power network operation, namely, keeping the power grid state within security constraints at all times, which is decomposed into two temporally extended actions: 'do nothing' versus 'propose a topology change'. At the intermediate level, the action space consists of all controllable substations. Finally, at the lowest level, the action space consists of all configurations of the chosen substation. By employing this HRL framework, several hierarchical power network agents are trained for the IEEE 14-bus network. Whereas at the highest level a purely rule-based policy is still chosen for all agents in this study, at the intermediate level the policy is trained using different state-of-the-art RL algorithms. At the lowest level, either an RL algorithm or a greedy algorithm is used. The performance of the different 3-level agents is compared with standard baseline (RL or greedy) approaches. A key finding is that the 3-level agent that employs RL both at the intermediate and the lowest level outperforms all other agents on the most difficult task. Our code is publicly available.