Quantum-Enhanced Forecasting for Deep Reinforcement Learning in Algorithmic Trading

📄 arXiv: 2509.09176v2 📥 PDF

作者: Jun-Hao Chen, Yu-Chien Huang, Yun-Cheng Tsai, Samuel Yen-Chi Chen

分类: cs.LG, cs.CY

发布日期: 2025-09-11 (更新: 2025-09-12)

💡 一句话要点

提出基于量子增强深度强化学习的算法交易方法，实现外汇交易回报率提升。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子计算 深度强化学习 算法交易 金融预测 时间序列分析

📋 核心要点

  1. 传统算法交易在快速变化的市场中难以准确预测趋势和控制风险，导致收益受限。
  2. 提出结合量子计算的深度强化学习框架，利用QLSTM进行趋势预测，QA3C进行交易决策，提升交易性能。
  3. 实验结果表明，该模型在外汇交易中取得了优于传统方法的收益率，并有效控制了最大回撤。

📝 摘要（中文）

本文探索了量子启发神经网络与深度强化学习在金融交易中的融合。作者实现了一个针对美元/新台币的交易代理，该代理集成了量子长短期记忆网络(QLSTM)用于短期趋势预测，以及量子异步优势行动者-评论家算法(QA3C)，这是一种经典A3C算法的量子增强变体。该模型在2000-01-01至2025-04-30的数据上进行训练（80%训练，20%测试），仅做多代理在约5年内实现了11.87%的回报率，最大回撤为0.92%，优于几种货币ETF。文章详细介绍了状态设计（QLSTM特征和指标）、用于趋势跟踪/风险控制的奖励函数以及多核训练。结果表明，混合模型产生了具有竞争力的外汇交易性能。研究表明QLSTM对于具有严格风险控制的小利润交易有效，并提出了未来的改进方向。关键超参数：QLSTM序列长度=4，QA3C工作线程=8。局限性：经典量子模拟和简化的交易策略。

🔬 方法详解

问题定义：论文旨在解决外汇交易中，传统算法难以准确预测短期趋势和有效控制风险的问题。现有方法在处理非线性、高噪声的金融时间序列数据时表现不佳，难以获得稳定的超额收益。

核心思路：论文的核心思路是利用量子计算的优势来增强深度强化学习模型，从而提高趋势预测的准确性和交易决策的效率。具体而言，使用QLSTM来捕捉金融时间序列中的复杂模式，并使用QA3C来优化交易策略。

技术框架：整体框架包含两个主要模块：QLSTM趋势预测模块和QA3C交易决策模块。首先，QLSTM利用历史价格数据和其他技术指标预测未来短期趋势。然后，QA3C基于QLSTM的预测结果和当前市场状态，做出买入、卖出或持有的交易决策。整个训练过程采用多核并行计算，以加速模型收敛。

关键创新：论文的关键创新在于将量子计算的思想引入到深度强化学习框架中，提出了QLSTM和QA3C两种量子增强模型。QLSTM能够更好地捕捉金融时间序列中的非线性关系，QA3C能够更有效地探索交易策略空间。

关键设计：QLSTM的序列长度设置为4，用于捕捉短期趋势。QA3C使用8个工作线程进行并行训练，以加速模型收敛。奖励函数的设计同时考虑了趋势跟踪和风险控制，旨在最大化收益并限制最大回撤。状态设计包括QLSTM的特征输出和一些常用的技术指标。

📊 实验亮点

实验结果表明，该模型在USD/TWD交易中取得了显著的性能提升。在2000-01-01至2025-04-30的数据上进行训练和测试，该模型实现了11.87%的回报率，最大回撤为0.92%，优于几种货币ETF。这表明量子增强的深度强化学习模型在实际交易中具有很强的竞争力。

🎯 应用场景

该研究成果可应用于量化交易、风险管理和金融预测等领域。通过量子增强的深度强化学习模型，可以更准确地预测市场趋势，制定更有效的交易策略，并降低投资风险。未来，该方法有望推广到其他金融市场和资产类别，为投资者带来更高的回报。

📄 摘要（原文）

The convergence of quantum-inspired neural networks and deep reinforcement learning offers a promising avenue for financial trading. We implemented a trading agent for USD/TWD by integrating Quantum Long Short-Term Memory (QLSTM) for short-term trend prediction with Quantum Asynchronous Advantage Actor-Critic (QA3C), a quantum-enhanced variant of the classical A3C. Trained on data from 2000-01-01 to 2025-04-30 (80\% training, 20\% testing), the long-only agent achieves 11.87\% return over around 5 years with 0.92\% max drawdown, outperforming several currency ETFs. We detail state design (QLSTM features and indicators), reward function for trend-following/risk control, and multi-core training. Results show hybrid models yield competitive FX trading performance. Implications include QLSTM's effectiveness for small-profit trades with tight risk and future enhancements. Key hyperparameters: QLSTM sequence length$=$4, QA3C workers$=$8. Limitations: classical quantum simulation and simplified strategy. \footnote{The views expressed in this article are those of the authors and do not represent the views of Wells Fargo. This article is for informational purposes only. Nothing contained in this article should be construed as investment advice. Wells Fargo makes no express or implied warranties and expressly disclaims all legal, tax, and accounting implications related to this article.