State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading
作者: Jesper Klicks, Sander Vržina, Vincent François-Lavet
分类: cs.LG, cs.AI
发布日期: 2026-06-25
💡 一句话要点
提出状态表示优化以提升深度强化学习在能源交易中的表现
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 状态表示 能源交易 市场特征 DQN 策略优化 决策系统
📋 核心要点
- 现有的强化学习方法在能源交易中往往忽视了状态表示的重要性，导致决策效果不佳。
- 论文提出通过组合不同类型的市场特征来优化状态表示，从而提升强化学习代理的决策能力。
- 实验结果显示，结合绝对、相对和预测特征的策略在测试集上达到了55.6%的表现，显著优于单一特征的策略。
📝 摘要（中文）
能源交易决策不仅依赖于当前市场价格，还需考虑未来市场条件和操作约束。因此，强化学习代理的状态表示成为重要设计选择。本文在HydroDam环境中研究了这一问题，使用固定的双重DQN代理，比较了绝对价格、相对特征和预测特征等不同市场特征组合。实验结果表明，状态表示在存储交易强化学习中并非小的预处理选择，而是政策设计的核心部分，强健的转移需要结合价格规模、近期相对价格背景和短期预测信息，而非依赖单一特征家族。
🔬 方法详解
问题定义：本文旨在解决在能源交易中，强化学习代理由于状态表示不当而导致的决策效果不佳的问题。现有方法往往只依赖单一特征，未能充分利用市场信息的多样性。
核心思路：论文的核心思路是通过组合绝对价格特征、相对特征和预测特征来优化状态表示，以便更全面地捕捉市场动态，从而提升代理的决策能力。
技术框架：研究采用固定的双重DQN代理，保持环境、动作空间、奖励函数和训练协议不变，仅改变市场特征。通过比较不同特征组合的表现，评估其对策略的影响。
关键创新：最重要的技术创新在于提出了将多种特征组合的策略设计，强调了状态表示在强化学习中的核心地位，与传统方法相比，能够更有效地捕捉市场变化。
关键设计：在实验中，使用了2007-2011年比利时日内价格进行训练，并在2012-2025年的测试集及39个其他市场区域进行评估。特征组合的设计包括绝对特征、相对特征和预测特征的多种组合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，单一的绝对特征在测试集上的表现仅为28.8%，而结合绝对和相对特征的策略达到了49.9%，结合三种特征的策略更是提升至55.6%。这些结果表明，状态表示的优化对强化学习在能源交易中的应用至关重要。
🎯 应用场景
该研究的潜在应用领域包括电力市场、金融交易和其他需要动态决策的领域。通过优化状态表示，强化学习代理能够在复杂的市场环境中做出更为精准的决策，从而提高交易效率和收益。未来，该方法可能推动智能交易系统的发展，提升市场的整体运行效率。
📄 摘要（原文）
Energy trading decisions depend not only on current market prices, but also on expected future market conditions, and operational constraints. This makes the state representation given to a reinforcement learning agent an important design choice. We study this in HydroDam, a pumped-storage arbitrage environment, using a fixed Double DQN agent. The environment, action space, reward function, network, and training protocol are kept fixed; only the market features are changed. We compare absolute price/calendar features, relative features that compare current prices with recent market history, forecast features, and all combinations of these three feature families. Policies are trained and selected using 2007--2011 Belgian day-ahead prices and evaluated on two test settings: a later same-market test set from 2012--2025 and 39 other ENTSO-E market zones. Absolute features only reaches 28.8% on the test set and a median 5.7% across zones. Relative-only and forecast-only states also stay below a rolling price-score heuristic in the cross-zone median. Combining feature families is much stronger: absolute + relative reaches 49.9% on the test set and a 39.8% cross-zone median, while absolute + relative + forecast reaches 55.6% and 47.5%. These results suggest that state representation is not a minor preprocessing choice in storage-trading RL, but a central part of the policy design: robust transfer requires combining price scale, recent relative price context, and short-horizon forecast information, rather than relying on any single feature family.