Resilient Control of Networked Microgrids using Vertical Federated Reinforcement Learning: Designs and Real-Time Test-Bed Validations

📄 arXiv: 2311.12264v1 📥 PDF

作者: Sayak Mukherjee, Ramij R. Hossain, Sheik M. Mohiuddin, Yuan Liu, Wei Du, Veronica Adetola, Rohit A. Jinsiwale, Qiuhua Huang, Tianzhixi Yin, Ankit Singhal

分类: eess.SY, cs.AI, cs.LG

发布日期: 2023-11-21

备注: 10 pages, 7 figures

期刊: IEEE Transactions on Smart Grid ( Volume: 16, Issue: 2, March 2025)

DOI: 10.1109/TSG.2024.3466768

💡 一句话要点

提出垂直联邦强化学习以增强网络微电网的抗干扰控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 网络微电网 强化学习 联邦学习 抗干扰控制 智能电网 可再生能源 分布式发电

📋 核心要点

  1. 现有方法在面对对抗性网络事件时，难以有效提升网络微电网的韧性，尤其是当涉及到多方数据共享时。
  2. 本文提出了一种垂直联邦强化学习算法（FedSAC），旨在捕捉网络微电网的互联动态，解决了传统方法的局限性。
  3. 实验结果表明，仿真训练的强化学习控制器在硬件在环测试平台上表现出色，成功验证了仿真与现实之间的最小化差距。

📝 摘要（中文）

随着基于逆变器资源（IBRs）数量的增加，提高网络微电网的系统级韧性变得尤为重要。本文提出了一种在对抗性网络事件下的韧性控制设计，并提出了一种新颖的联邦强化学习（Fed-RL）方法，以应对IBR设备的模型复杂性和未知动态行为，以及多方拥有网络电网中的数据共享隐私问题。此外，研究将从仿真中学习到的控制策略转移到硬件在环测试平台，成功缩小了仿真与现实之间的差距。通过构建自定义的仿真设置，论文展示了训练的强化学习控制器在实时测试平台上的有效性，验证了其在实际应用中的可行性。

🔬 方法详解

问题定义：本文旨在解决网络微电网在对抗性网络事件下的韧性控制问题。现有方法在处理IBR设备的复杂模型和动态行为时存在不足，尤其是在多方数据共享的隐私问题上。

核心思路：论文提出了一种垂直联邦强化学习算法（FedSAC），通过在不同环境中训练强化学习代理，能够更好地捕捉网络微电网的互联动态，克服了传统水平联邦学习方法的局限性。

技术框架：整体架构包括三个主要模块：首先，构建强化学习训练环境，生成包含对抗信号的情景；其次，利用OpenAI Gym接口在GridLAB-D/HELICS平台上进行仿真训练；最后，将学习到的控制策略转移到高保真硬件在环测试平台进行验证。

关键创新：最重要的技术创新在于提出了垂直联邦强化学习算法（FedSAC），该算法能够有效处理网络微电网中多个独立环境的互联动态，与现有方法相比，显著提升了控制策略的适应性和有效性。

关键设计：在设计中，采用了特定的损失函数和网络结构，以确保强化学习代理能够在对抗性环境中有效学习，并且在仿真与现实之间的转移过程中，保持策略的一致性和有效性。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，仿真训练的强化学习控制器在硬件在环测试平台上表现出色，成功实现了仿真与现实之间的最小化差距。具体而言，控制器在面对对抗性攻击时，能够有效降低系统的响应时间和故障率，验证了所提方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能电网、可再生能源集成和分布式发电系统等。通过增强网络微电网的抗干扰能力，能够提高电力系统的稳定性和安全性，具有重要的实际价值和社会影响。未来，该方法有望在更广泛的电力系统中推广应用，促进智能电网的发展。

📄 摘要（原文）

Improving system-level resiliency of networked microgrids is an important aspect with increased population of inverter-based resources (IBRs). This paper (1) presents resilient control design in presence of adversarial cyber-events, and proposes a novel federated reinforcement learning (Fed-RL) approach to tackle (a) model complexities, unknown dynamical behaviors of IBR devices, (b) privacy issues regarding data sharing in multi-party-owned networked grids, and (2) transfers learned controls from simulation to hardware-in-the-loop test-bed, thereby bridging the gap between simulation and real world. With these multi-prong objectives, first, we formulate a reinforcement learning (RL) training setup generating episodic trajectories with adversaries (attack signal) injected at the primary controllers of the grid forming (GFM) inverters where RL agents (or controllers) are being trained to mitigate the injected attacks. For networked microgrids, the horizontal Fed-RL method involving distinct independent environments is not appropriate, leading us to develop vertical variant Federated Soft Actor-Critic (FedSAC) algorithm to grasp the interconnected dynamics of networked microgrid. Next, utilizing OpenAI Gym interface, we built a custom simulation set-up in GridLAB-D/HELICS co-simulation platform, named Resilient RL Co-simulation (ResRLCoSIM), to train the RL agents with IEEE 123-bus benchmark test systems comprising 3 interconnected microgrids. Finally, the learned policies in simulation world are transferred to the real-time hardware-in-the-loop test-bed set-up developed using high-fidelity Hypersim platform. Experiments show that the simulator-trained RL controllers produce convincing results with the real-time test-bed set-up, validating the minimization of sim-to-real gap.