Attentive Convolutional Deep Reinforcement Learning for Optimizing Solar-Storage Systems in Real-Time Electricity Markets
作者: Jinhao Li, Changlong Wang, Hao Wang
分类: eess.SY, cs.LG, math.OC
发布日期: 2024-01-29
期刊: IEEE Transactions on Industrial Informatics, 2024
💡 一句话要点
提出注意力卷积深度强化学习优化太阳能储能系统
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 太阳能 电池储能 注意力机制 市场优化 可再生能源 经济效益
📋 核心要点
- 核心问题：现有方法在太阳能与电池储能系统的协同优化中存在效率低下和市场参与不足的问题。
- 方法要点：本文提出了一种基于注意力机制的深度强化学习算法，优化太阳能电池系统的实时竞标策略。
- 实验或效果：实验结果显示，AC-DRL算法在收入和削减响应方面显著优于现有基准，收入提高幅度达到23%。
📝 摘要（中文）
本文研究了太阳能-电池储能系统（BESS）的协同作用，并开发了一种可行的策略，使BESS能够通过作为备份来减少太阳能削减，同时参与电力市场。我们将太阳能电池系统的实时竞标建模为两个马尔可夫决策过程，分别针对太阳能农场和BESS。通过利用注意力机制和多粒度特征卷积，我们开发了一种新颖的深度强化学习（DRL）算法来解决该问题。仿真结果表明，我们的AC-DRL在收入生成上比两个基于优化的方法和一个基于DRL的方法分别提高了23%、20%和11%，并改善了削减响应。过剩的太阳能发电可以有效地为BESS充电以在市场中竞标，显著减少太阳能削减达76%，为太阳能-电池系统创造了更大的可行性。
🔬 方法详解
问题定义：本文旨在解决太阳能-电池储能系统在电力市场中的实时竞标效率低下的问题。现有方法往往未能充分利用过剩的太阳能发电，导致经济潜力未被充分挖掘。
核心思路：论文提出了一种结合注意力机制和多粒度特征卷积的深度强化学习算法，以优化太阳能电池系统的竞标决策。通过这种设计，算法能够更好地处理输入数据，从而提高决策的准确性和效率。
技术框架：整体架构包括两个主要模块：一个针对太阳能农场的马尔可夫决策过程，另一个针对电池储能系统的马尔可夫决策过程。通过这两个模块的协同工作，形成了一个完整的竞标策略优化流程。
关键创新：最重要的技术创新在于引入了注意力机制和多粒度特征卷积，使得DRL算法能够在处理复杂输入时更具灵活性和适应性。这一创新与传统的优化方法相比，显著提高了系统的经济效益。
关键设计：在算法设计中，关键参数设置包括学习率、折扣因子等，损失函数采用了基于收益的设计，网络结构则结合了卷积层和注意力层，以增强特征提取能力。通过这些设计，算法在实际应用中表现出色。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AC-DRL算法在收入生成上比两个优化基准提高了23%，比一个DRL基准提高了11%。此外，算法显著改善了削减响应，减少太阳能削减达76%，展现出良好的经济效益和市场适应性。
🎯 应用场景
该研究的潜在应用领域包括可再生能源管理、电力市场参与和智能电网优化。通过优化太阳能与电池储能系统的协同作用，能够有效提升可再生能源的利用率，降低能源浪费，具有重要的实际价值和社会影响。
📄 摘要（原文）
This paper studies the synergy of solar-battery energy storage system (BESS) and develops a viable strategy for the BESS to unlock its economic potential by serving as a backup to reduce solar curtailments while also participating in the electricity market. We model the real-time bidding of the solar-battery system as two Markov decision processes for the solar farm and the BESS, respectively. We develop a novel deep reinforcement learning (DRL) algorithm to solve the problem by leveraging attention mechanism (AC) and multi-grained feature convolution to process DRL input for better bidding decisions. Simulation results demonstrate that our AC-DRL outperforms two optimization-based and one DRL-based benchmarks by generating 23%, 20%, and 11% higher revenue, as well as improving curtailment responses. The excess solar generation can effectively charge the BESS to bid in the market, significantly reducing solar curtailments by 76% and creating synergy for the solar-battery system to be more viable.