Enhancing Cyber-Resilience in Integrated Energy System Scheduling with Demand Response Using Deep Reinforcement Learning

📄 arXiv: 2311.17941v2 📥 PDF

作者: Yang Li, Wenjie Ma, Yuanzheng Li, Sen Li, Zhe Chen, Mohammad Shahidehpor

分类: eess.SY, cs.LG

发布日期: 2023-11-28 (更新: 2024-11-03)

备注: Accepted by Applied Energy, Manuscript ID: APEN-D-24-03080

期刊: Applied Energy 379 (2025) 124831

DOI: 10.1016/j.apenergy.2024.124831

💡 一句话要点

提出基于深度强化学习的调度方法以增强集成能源系统的网络韧性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 集成能源系统 网络韧性 需求响应 调度优化 可再生能源 马尔可夫决策过程 对抗训练

📋 核心要点

  1. 集成能源系统在可再生能源和负荷不确定性以及网络攻击的影响下，面临稳定供需的挑战。
  2. 提出了一种基于状态对抗深度强化学习的调度方法，将网络攻击作为对手纳入调度过程，以增强系统的韧性。
  3. 实验结果显示，该方法在应对不确定性和网络攻击方面表现优异，经济性能较传统方法提升了10%。

📝 摘要（中文）

优化多能源流调度是有效利用可再生能源和提高集成能源系统稳定性与经济性的关键。然而，集成能源系统面临来自可再生能源和负荷的不确定性以及网络攻击的挑战。本文提出了一种基于状态对抗深度强化学习的无模型韧性调度方法，旨在解决集成需求响应下的调度问题。通过设计集成需求响应程序，探索电力、天然气和热能的灵活负荷交互能力，并将网络攻击作为对手直接纳入调度过程。实验结果表明，该方法能够有效应对不确定性，减轻网络攻击对调度策略的影响，并确保多种能源的稳定供给。与原有的软演员-评论家算法相比，在网络攻击场景下经济性能提升了10%。

🔬 方法详解

问题定义：本文旨在解决集成能源系统在可再生能源和负荷不确定性以及网络攻击下的调度问题。现有方法未能有效应对这些不确定性和攻击带来的挑战，导致调度策略的脆弱性。

核心思路：提出了一种基于状态对抗深度强化学习的调度方法，通过将网络攻击视为对手，增强调度策略的韧性。该方法通过集成需求响应程序，探索电力、天然气和热能的灵活负荷交互能力。

技术框架：整体架构包括状态对抗马尔可夫决策过程（SA-MDP）模型和状态对抗软演员-评论家（SA-SAC）算法。SA-MDP模型用于描述在网络攻击下的能源调度问题，而SA-SAC算法则通过对抗训练来优化调度策略。

关键创新：最重要的创新在于将网络攻击直接纳入调度过程，通过对抗训练提升调度策略的鲁棒性。这一设计与传统方法的本质区别在于主动应对网络攻击，而非被动防御。

关键设计：在算法设计中，采用了特定的损失函数以平衡调度效率与网络攻击的影响，同时优化了网络结构以适应多种能源的调度需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在应对可再生能源和负荷不确定性方面表现优异，并在网络攻击场景下实现了10%的经济性能提升，相较于传统的软演员-评论家算法，显著增强了调度策略的稳定性与韧性。

🎯 应用场景

该研究的潜在应用领域包括智能电网、可再生能源管理和城市能源系统调度等。通过增强集成能源系统的网络韧性，能够有效提高能源利用效率，降低因网络攻击导致的经济损失，具有重要的实际价值和未来影响。

📄 摘要（原文）

Optimally scheduling multi-energy flow is an effective method to utilize renewable energy sources (RES) and improve the stability and economy of integrated energy systems (IES). However, the stable demand-supply of IES faces challenges from uncertainties that arise from RES and loads, as well as the increasing impact of cyber-attacks with advanced information and communication technologies adoption. To address these challenges, this paper proposes an innovative model-free resilience scheduling method based on state-adversarial deep reinforcement learning (DRL) for integrated demand response (IDR)-enabled IES. The proposed method designs an IDR program to explore the interaction ability of electricity-gas-heat flexible loads. Additionally, the state-adversarial Markov decision process (SA-MDP) model characterizes the energy scheduling problem of IES under cyber-attack, incorporating cyber-attacks as adversaries directly into the scheduling process. The state-adversarial soft actor-critic (SA-SAC) algorithm is proposed to mitigate the impact of cyber-attacks on the scheduling strategy, integrating adversarial training into the learning process to against cyber-attacks. Simulation results demonstrate that our method is capable of adequately addressing the uncertainties resulting from RES and loads, mitigating the impact of cyber-attacks on the scheduling strategy, and ensuring a stable demand supply for various energy sources. Moreover, the proposed method demonstrates resilience against cyber-attacks. Compared to the original soft actor-critic (SAC) algorithm, it achieves a 10% improvement in economic performance under cyber-attack scenarios.