Combining Transformer based Deep Reinforcement Learning with Black-Litterman Model for Portfolio Optimization

📄 arXiv: 2402.16609v1 📥 PDF

作者: Ruoyu Sun, Angelos Stefanidis, Zhengyong Jiang, Jionglong Su

分类: q-fin.PM, cs.LG

发布日期: 2024-02-23

备注: 46 pages, 15 figures

💡 一句话要点

提出结合深度强化学习与Black-Litterman模型的组合以优化投资组合

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 投资组合优化 Black-Litterman模型 动态相关性 金融科技 量化交易 资产管理

📋 核心要点

  1. 现有的DRL代理在投资组合优化中无法有效学习资产收益的动态相关性，限制了其收益最大化能力。
  2. 本文提出的混合模型结合了DRL代理与Black-Litterman模型，使得DRL代理能够学习资产之间的动态相关性，从而优化投资组合权重。
  3. 实验结果显示，本文的DRL代理在累计收益方面比多种比较策略提升了至少42%，并在单位风险收益上也表现出显著优势。

📝 摘要（中文）

作为一种无模型算法，深度强化学习（DRL）代理通过与环境的交互以无监督的方式学习和决策。近年来，DRL算法因其能够动态适应市场变化而被广泛应用于连续交易期的投资组合优化。然而，典型的DRL代理无法学习到投资组合资产收益之间的动态相关性，这对于优化投资组合至关重要。本文提出了一种结合DRL代理和Black-Litterman（BL）模型的混合投资组合优化模型，使DRL代理能够学习资产收益的动态相关性，并基于此实施有效的多空策略。实证结果表明，本文的DRL代理在美国股市数据上显著优于多种比较投资组合选择策略，累计收益提升至少42%。

🔬 方法详解

问题定义：本文旨在解决现有DRL代理在投资组合优化中无法学习资产收益动态相关性的问题，这使得其在风险收益最大化方面存在局限性。

核心思路：通过结合DRL代理与Black-Litterman模型，本文提出了一种新的投资组合优化方法，使DRL代理能够有效学习资产收益之间的动态相关性，并据此制定投资策略。

技术框架：该方法的整体架构包括DRL代理的训练模块和BL模型的应用模块。DRL代理负责学习市场环境中的动态变化，而BL模型则用于确定目标投资组合的权重。

关键创新：本文的主要创新在于将DRL与BL模型相结合，使得DRL代理能够在动态市场环境中学习资产间的相关性，从而优化投资决策，这在现有方法中尚属首次。

关键设计：在模型设计中，采用了特定的损失函数以平衡收益与风险，同时在网络结构上，DRL代理的策略网络和价值网络被精心设计，以适应动态市场的变化。具体参数设置和训练过程也经过了细致的调优。

📊 实验亮点

实验结果表明，本文的DRL代理在累计收益方面比多种比较投资组合选择策略提升了至少42%。此外，在单位风险收益方面，本文的方法也显著优于其他基于机器学习的策略，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融投资、资产管理和量化交易等。通过优化投资组合，能够帮助投资者在动态市场中实现更高的收益，降低风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

As a model-free algorithm, deep reinforcement learning (DRL) agent learns and makes decisions by interacting with the environment in an unsupervised way. In recent years, DRL algorithms have been widely applied by scholars for portfolio optimization in consecutive trading periods, since the DRL agent can dynamically adapt to market changes and does not rely on the specification of the joint dynamics across the assets. However, typical DRL agents for portfolio optimization cannot learn a policy that is aware of the dynamic correlation between portfolio asset returns. Since the dynamic correlations among portfolio assets are crucial in optimizing the portfolio, the lack of such knowledge makes it difficult for the DRL agent to maximize the return per unit of risk, especially when the target market permits short selling (i.e., the US stock market). In this research, we propose a hybrid portfolio optimization model combining the DRL agent and the Black-Litterman (BL) model to enable the DRL agent to learn the dynamic correlation between the portfolio asset returns and implement an efficacious long/short strategy based on the correlation. Essentially, the DRL agent is trained to learn the policy to apply the BL model to determine the target portfolio weights. To test our DRL agent, we construct the portfolio based on all the Dow Jones Industrial Average constitute stocks. Empirical results of the experiments conducted on real-world United States stock market data demonstrate that our DRL agent significantly outperforms various comparison portfolio choice strategies and alternative DRL frameworks by at least 42% in terms of accumulated return. In terms of the return per unit of risk, our DRL agent significantly outperforms various comparative portfolio choice strategies and alternative strategies based on other machine learning frameworks.