High-dimensional Bid Learning for Energy Storage Bidding in Energy Markets

📄 arXiv: 2311.02551v1 📥 PDF

作者: Jinyu Liu, Hongye Guo, Qinghu Tang, En Lu, Qiuna Cai, Qixin Chen

分类: eess.SY, cs.GT, cs.LG

发布日期: 2023-11-05

备注: 5 pages, 3 figures, Accepted by the 15th International Conference on Applied Energy (ICAE2023)

💡 一句话要点

提出神经网络嵌入投标方法以优化能源存储市场投标

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 能源存储 市场投标 强化学习 神经网络 可再生能源 利润优化 高维数据

📋 核心要点

  1. 现有的学习方法无法充分利用能源市场中的高维价格-数量投标，导致盈利能力受限。
  2. 本文提出了一种新的投标表示方法NNEBs，通过单调神经网络来优化市场投标的学习过程。
  3. 实验结果显示，所提方法在真实市场数据集上实现了比基线高18%的利润，接近最优市场投标者的78%利润。

📝 摘要（中文）

随着可再生能源资源的渗透，电力市场价格波动加剧，因此能源存储系统（ESS）需要利用多维度的市场投标来最大化盈利。然而，现有学习方法无法充分利用能源市场中的高维价格-数量投标。为了解决这一挑战，本文提出了一种新的投标表示方法——神经网络嵌入投标（NNEBs），通过单调神经网络表示市场投标。我们首先利用强化学习（RL）学习一个神经网络，将市场价格映射到ESS功率输出，然后通过两种训练修改重新训练网络，使其输出单调且离散。最后，将神经网络等效转换为高维投标。实验结果表明，该方法比基线提高了18%的利润，且达到了最优市场投标者78%的利润。

🔬 方法详解

问题定义：本文旨在解决现有方法无法充分利用高维价格-数量投标的问题，导致能源存储系统在电力市场中的盈利能力不足。

核心思路：通过提出神经网络嵌入投标（NNEBs）的方法，利用单调神经网络来表示市场投标，从而实现更有效的学习和盈利。

技术框架：整体流程包括三个主要阶段：首先，使用强化学习学习一个神经网络，将市场价格映射到ESS功率输出；其次，通过两种训练修改使网络输出单调且离散；最后，将训练好的神经网络转换为高维投标。

关键创新：最重要的创新点在于提出了NNEBs的概念，通过单调神经网络的设计，使得投标表示更加符合市场需求，与传统方法相比，能够更好地捕捉市场的多维特性。

关键设计：在网络结构上，设计了单调性约束和离散输出的损失函数，以确保网络输出符合市场投标的要求，同时在训练过程中采用了强化学习策略以优化功率输出。

📊 实验亮点

实验结果表明，所提出的NNEBs方法在真实市场数据集上实现了比基线高18%的利润，且在某些情况下接近最优市场投标者的78%利润。这一显著提升展示了该方法在优化能源存储投标中的有效性。

🎯 应用场景

该研究的潜在应用领域包括电力市场的能源存储系统优化、可再生能源的调度管理以及智能电网的决策支持。通过提高投标的盈利能力，能够促进可再生能源的更广泛应用，推动可持续发展。未来，该方法还可以扩展到其他市场环境中，提升智能决策能力。

📄 摘要（原文）

With the growing penetration of renewable energy resource, electricity market prices have exhibited greater volatility. Therefore, it is important for Energy Storage Systems(ESSs) to leverage the multidimensional nature of energy market bids to maximize profitability. However, current learning methods cannot fully utilize the high-dimensional price-quantity bids in the energy markets. To address this challenge, we modify the common reinforcement learning(RL) process by proposing a new bid representation method called Neural Network Embedded Bids (NNEBs). NNEBs refer to market bids that are represented by monotonic neural networks with discrete outputs. To achieve effective learning of NNEBs, we first learn a neural network as a strategic mapping from the market price to ESS power output with RL. Then, we re-train the network with two training modifications to make the network output monotonic and discrete. Finally, the neural network is equivalently converted into a high-dimensional bid for bidding. We conducted experiments over real-world market datasets. Our studies show that the proposed method achieves 18% higher profit than the baseline and up to 78% profit of the optimal market bidder.