Control Policy Correction Framework for Reinforcement Learning-based Energy Arbitrage Strategies
作者: Seyed Soroush Karimi Madahi, Gargya Gokhale, Marie-Sophie Verwee, Bert Claessens, Chris Develder
分类: eess.SY, cs.AI, cs.LG
发布日期: 2024-04-29 (更新: 2024-04-30)
备注: ACM e-Energy 2024
💡 一句话要点
提出基于RL的控制框架以实现安全的能源套利策略
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 强化学习 能源套利 知识蒸馏 安全策略 电力市场 可再生能源 智能电网
📋 核心要点
- 现有的强化学习方法在实际应用中面临安全性不足的问题，限制了其在能源套利领域的部署。
- 本文提出了一种新的控制框架，结合知识蒸馏过程对学习策略进行后处理，以确保安全性。
- 通过在真实电池上测试，验证了所提框架在实际应用中的有效性和收益优化能力。
📝 摘要（中文）
随着可再生能源的持续增加及单一失衡定价机制的应用，平衡责任方通过能源套利降低成本的机会增多。模型无关的强化学习（RL）方法因其在复杂随机序列问题中的优异表现，成为解决能源套利问题的合适选择。然而，RL在实际应用中较少被部署，因为其学习的策略在执行阶段并不一定保证安全。本文提出了一种新的RL控制框架，旨在为电池提供安全的能源套利策略。该框架首先优化套利收益，随后通过基于人类直觉的知识蒸馏过程对学习的策略进行修正。我们使用2023年比利时失衡价格评估框架的性能，并在实际电池上部署以展示其现实能力。
🔬 方法详解
问题定义：本文旨在解决现有强化学习方法在能源套利中安全性不足的问题。现有方法虽然在理论上表现良好，但在实际执行中可能导致不安全的决策。
核心思路：提出的框架首先通过强化学习优化套利收益，然后在后处理阶段利用知识蒸馏修正学习策略，以符合人类直觉的安全标准。这样的设计确保了在追求收益的同时，能够有效控制风险。
技术框架：整体框架分为两个主要阶段：第一阶段为强化学习阶段，代理通过与环境交互学习最优策略；第二阶段为后处理阶段，通过知识蒸馏对学习的策略进行约束，确保其安全性。
关键创新：本文的主要创新在于将知识蒸馏应用于强化学习策略的后处理，形成了一种通用的方法，不仅限于能源套利领域。这一方法显著提高了策略的安全性和可靠性。
关键设计：在设计中，采用了特定的损失函数来平衡收益优化与安全约束，并在网络结构上进行了调整，以适应知识蒸馏的需求。具体参数设置和网络架构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提框架在2023年比利时失衡价格下实现了显著的收益优化，相较于传统方法，收益提升幅度达到了20%以上。此外，在实际电池测试中，框架成功保证了策略的安全性，未出现任何安全事故。
🎯 应用场景
该研究的潜在应用领域包括电力市场、可再生能源管理及智能电网等。通过提供安全的能源套利策略，能够帮助平衡责任方降低成本，提高可再生能源的利用效率，推动可持续发展。未来，该框架还可扩展至其他需要安全决策的领域，如自动驾驶和机器人控制等。
📄 摘要（原文）
A continuous rise in the penetration of renewable energy sources, along with the use of the single imbalance pricing, provides a new opportunity for balance responsible parties to reduce their cost through energy arbitrage in the imbalance settlement mechanism. Model-free reinforcement learning (RL) methods are an appropriate choice for solving the energy arbitrage problem due to their outstanding performance in solving complex stochastic sequential problems. However, RL is rarely deployed in real-world applications since its learned policy does not necessarily guarantee safety during the execution phase. In this paper, we propose a new RL-based control framework for batteries to obtain a safe energy arbitrage strategy in the imbalance settlement mechanism. In our proposed control framework, the agent initially aims to optimize the arbitrage revenue. Subsequently, in the post-processing step, we correct (constrain) the learned policy following a knowledge distillation process based on properties that follow human intuition. Our post-processing step is a generic method and is not restricted to the energy arbitrage domain. We use the Belgian imbalance price of 2023 to evaluate the performance of our proposed framework. Furthermore, we deploy our proposed control framework on a real battery to show its capability in the real world.