Learning to Run Power Networks: Effective AlphaZero-inspired Topological Control

📄 arXiv: 2608.14114v1 📥 PDF

作者: Lukas Zetto, Benjamin Schäfer, Qiong Huang

分类: cs.LG

发布日期: 2026-08-14

备注: 10 pages, 9 figures. Accepted for publication in ACM SIGENERGY Energy Informatics Review, Volume 6, Issue 3, September 2026

💡 一句话要点

提出基于AlphaZero的拓扑控制方法以应对电网稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 电网管理 强化学习 拓扑控制 蒙特卡洛树搜索 可再生能源 智能调度 生存率优化

📋 核心要点

  1. 现有方法在电网拓扑重构中面临组合动作空间庞大和操作约束严格的挑战，限制了其应用效果。
  2. 论文提出了一种基于AlphaZero的强化学习方法，结合蒙特卡洛树搜索（MCTS）进行电网的主动管理。
  3. 实验结果显示，优化后的AlphaZero方法实现了98.43%的生存率，显著优于传统的近端策略优化方法。

📝 摘要（中文）

随着可再生能源的波动性增加，现代电网面临更大的压力，自动化拓扑重构的强化学习方法成为了一个有前景的研究领域。与传统的重新调度措施相比，拓扑操作提供了一种更经济有效的电网拥堵管理方式。然而，广泛的组合动作空间和严格的操作约束限制了其实施。本文探讨了基于模型的AlphaZero启发式方法，利用蒙特卡洛树搜索（MCTS）进行主动电网管理。研究表明，优化后的AlphaZero方法实现了98.43%的峰值生存率，显著优于近端策略优化（PPO）变体。我们发现，在没有先前学习的策略或价值函数指导的情况下进行MCTS可以提高训练效率，而简单的二元生存奖励比复杂的多目标函数提供了更有效的搜索指导。

🔬 方法详解

问题定义：本文旨在解决电网在可再生能源集成增加情况下的稳定性问题，现有方法在拓扑重构中面临组合动作空间庞大和操作约束严格的痛点。

核心思路：论文提出基于AlphaZero的强化学习框架，利用蒙特卡洛树搜索（MCTS）进行电网的主动管理，旨在提高电网的生存率和管理效率。

技术框架：整体架构包括状态观察、奖励函数设计、MCTS搜索和策略优化四个主要模块。通过优化奖励函数和观察密度，提升代理的生存能力。

关键创新：最重要的创新在于结合了AlphaZero框架与MCTS，提出了在没有先前策略指导下的MCTS训练方式，显著提高了训练效率。

关键设计：关键参数包括简单的二元生存奖励设计，避免了复杂的多目标函数，同时限制了观察空间，聚焦于线路负载信息。通过这些设计，提升了搜索的有效性和训练的稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，优化后的AlphaZero方法在生存率上达到了98.43%，显著优于近端策略优化（PPO）方法，展示了在电网拓扑控制中的有效性和优势。通过简单的二元奖励设计，提升了搜索效率和训练效果。

🎯 应用场景

该研究的潜在应用领域包括电力系统的智能管理、可再生能源的集成优化以及电网的实时监控与调度。通过提高电网的稳定性和管理效率，能够有效应对未来能源结构的变化，具有重要的实际价值和社会影响。

📄 摘要（原文）

As the integration of volatile renewable energy sources increases the strain on modern power grids, the use of Reinforcement Learning (RL) for autonomous topological reconfiguration has emerged as a promising research field to keep strained grids stable and operational. Compared to traditional redispatching measures, topological actions offer a cheaper and more cost-effective way to manage grid congestion. However, their implementation is hindered by a vast combinatorial action space and strict operational constraints. This paper investigates the effectiveness of model-based AlphaZero-inspired approaches that utilize Monte Carlo Tree Search (MCTS) for proactive grid management. We systematically evaluate how reward functions, observation density, and search guidance influence an agent's survivability. Our results demonstrate that the optimized AlphaZero approach achieves a peak survivability of 98.43%, significantly outperforming the proximal policy optimization (PPO) variant. We find that conducting the MCTS without guidance from a prior learned policy or value function can enhance training efficiency, and that a straightforward binary survival reward provides more effective search guidance than complex, multi-objective functions. Our findings demonstrate that while AlphaZero is a powerful framework for topological control, pure reinforcement learning is not sufficient; rather, an effective and reliable system requires a 'minimalist' integration of domain-specific heuristics, binary rewards, and a restricted observation space of line loads.