CNN-DRL for Scalable Actions in Finance

📄 arXiv: 2401.06179v1 📥 PDF

作者: Sina Montazeri, Akram Mirzaeinia, Haseebullah Jumakhan, Amir Mirzaeinia

分类: q-fin.ST, cs.LG

发布日期: 2024-01-10

备注: 10th Annual Conf. on Computational Science & Computational Intelligence

💡 一句话要点

提出CNN-DRL以解决金融领域大规模动作学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 卷积神经网络 金融交易 大规模动作 环境适应性 奖励优化

📋 核心要点

  1. 现有的基于MLP的DRL方法在处理大规模动作时，难以适应环境动态，导致性能下降。
  2. 本文提出了一种CNN代理，通过拼接过去九十天的特征数据，构建输入矩阵，从而增强学习能力。
  3. 实验结果显示，CNN代理在环境适应性和奖励提升方面表现优于传统的MLP代理，保持了学习的稳定性。

📝 摘要（中文）

在金融领域，基于多层感知器（MLP）的深度强化学习（DRL）在动作规模增加时面临学习环境动态的困难。当买卖量增加到一千股时，MLP代理无法有效适应环境。为此，本文设计了一种卷积神经网络（CNN）代理，通过将过去九十天的日常特征向量数据进行拼接，构建CNN输入矩阵。实验结果表明，MLP代理在初始环境设置下经历了损失，而设计的CNN代理则保持稳定，有效学习环境，并提高了奖励。

🔬 方法详解

问题定义：本文旨在解决基于MLP的DRL在金融交易中面对大规模动作时的学习困难，特别是当交易量达到一千股时，现有方法无法有效适应环境动态。

核心思路：为了解决这一问题，本文设计了一种CNN代理，通过将过去九十天的日常特征数据拼接成输入矩阵，以增强模型对环境的学习能力和适应性。

技术框架：整体架构包括数据预处理模块、CNN输入构建模块和强化学习训练模块。数据预处理模块负责收集和整理过去九十天的特征数据，CNN输入构建模块将这些数据拼接成适合CNN处理的格式，最后通过强化学习训练模块进行模型训练。

关键创新：本文的主要创新在于使用CNN结构替代传统的MLP结构，以处理大规模动作的学习问题。CNN能够更好地捕捉时间序列数据中的空间特征，从而提高学习效果。

关键设计：在设计中，CNN的层数和卷积核大小经过调优，以确保模型能够有效提取特征。同时，损失函数采用了适应性调整策略，以提高训练的稳定性和收敛速度。实验中还考虑了不同的学习率和批量大小，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，设计的CNN代理在面对初始环境设置时，保持了学习的稳定性，并有效提高了奖励，相较于传统的MLP代理，表现出显著的性能提升。具体而言，CNN代理在多个实验场景中实现了奖励提升，且在环境适应性方面表现优异。

🎯 应用场景

该研究的潜在应用领域包括金融交易系统、投资决策支持工具以及智能交易机器人等。通过提高大规模动作的学习能力，能够帮助金融机构更好地应对市场波动，优化交易策略，提升投资回报率。未来，该方法还可能扩展到其他需要处理大规模决策的领域，如供应链管理和智能制造。

📄 摘要（原文）

The published MLP-based DRL in finance has difficulties in learning the dynamics of the environment when the action scale increases. If the buying and selling increase to one thousand shares, the MLP agent will not be able to effectively adapt to the environment. To address this, we designed a CNN agent that concatenates the data from the last ninety days of the daily feature vector to create the CNN input matrix. Our extensive experiments demonstrate that the MLP-based agent experiences a loss corresponding to the initial environment setup, while our designed CNN remains stable, effectively learns the environment, and leads to an increase in rewards.