Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting

📄 arXiv: 2404.15772v3 📥 PDF

作者: Aobo Liang, Xingguo Jiang, Yan Sun, Xiaohou Shi, Ke Li

分类: cs.LG

发布日期: 2024-04-24 (更新: 2024-06-27)

备注: New Mamba-based architecture. All experiments rerun

💡 一句话要点

提出Bi-Mamba+以解决长时间序列预测中的依赖捕捉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间序列预测 深度学习 状态空间模型 时间序列分析 变换器 模型创新 数据驱动

📋 核心要点

  1. 长时间序列预测面临捕捉长期依赖和稀疏语义特征的挑战，现有方法难以有效解决这些问题。
  2. 本文提出了Bi-Mamba+模型，通过在Mamba中引入遗忘门和双向处理机制，增强了对历史信息的保留和时间序列元素间的交互捕捉能力。
  3. 在8个真实世界数据集上的实验表明，Bi-Mamba+模型在预测准确性上显著优于现有的最先进方法，展示了其有效性。

📝 摘要（中文）

长时间序列预测（LTSF）为未来趋势和模式提供了长期洞察。近年来，深度学习模型，尤其是变换器，在LTSF任务中取得了显著的性能。然而，LTSF面临着捕捉长期依赖和稀疏语义特征的固有挑战。最近提出的Mamba状态空间模型（SSM）通过选择性输入数据和硬件感知的并行计算算法，在预测性能和计算效率之间取得了良好的平衡。为增强Mamba在更长范围内保留历史信息的能力，本文设计了一种新型的Mamba+模块，通过在Mamba中添加遗忘门，以互补的方式选择性地结合新特征与历史特征。此外，提出了Bi-Mamba+，旨在增强模型捕捉时间序列元素之间交互的能力。通过对8个真实世界数据集的广泛实验，证明了该模型在预测准确性上优于现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决长时间序列预测中的长期依赖捕捉和稀疏语义特征问题。现有的深度学习模型在处理这些问题时存在性能不足的情况。

核心思路：论文提出了Bi-Mamba+模型，通过在Mamba中引入遗忘门，选择性地结合新特征与历史特征，从而增强模型对历史信息的保留能力。此外，双向处理机制进一步提升了时间序列元素间的交互捕捉能力。

技术框架：Bi-Mamba+模型的整体架构包括Mamba+模块和双向处理机制。Mamba+模块通过遗忘门实现特征的选择性结合，而双向处理机制则在前向和后向两个方向上处理时间序列数据。

关键创新：本文的主要创新在于引入了遗忘门和双向处理机制，使得模型能够更有效地捕捉长期依赖和时间序列间的交互。这一设计与传统的变换器模型有本质区别，后者在处理长期依赖时往往表现不佳。

关键设计：在模型设计中，关键参数包括遗忘门的设置和通道独立或通道混合的标记策略。此外，损失函数的选择和网络结构的优化也是提升模型性能的重要因素。通过这些设计，Bi-Mamba+能够在不同场景下灵活调整，适应多样化的数据特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对8个真实世界数据集的实验中，Bi-Mamba+模型在预测准确性上显著优于现有的最先进方法，具体提升幅度达到X%（具体数据未知），展示了其在长时间序列预测中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析和工业生产监控等。通过提高长时间序列预测的准确性，Bi-Mamba+模型能够为决策者提供更可靠的未来趋势洞察，进而优化资源配置和风险管理。未来，该模型的设计理念也可扩展至其他时间序列分析任务，具有广泛的实际价值。

📄 摘要（原文）

Long-term time series forecasting (LTSF) provides longer insights into future trends and patterns. Over the past few years, deep learning models especially Transformers have achieved advanced performance in LTSF tasks. However, LTSF faces inherent challenges such as long-term dependencies capturing and sparse semantic characteristics. Recently, a new state space model (SSM) named Mamba is proposed. With the selective capability on input data and the hardware-aware parallel computing algorithm, Mamba has shown great potential in balancing predicting performance and computational efficiency compared to Transformers. To enhance Mamba's ability to preserve historical information in a longer range, we design a novel Mamba+ block by adding a forget gate inside Mamba to selectively combine the new features with the historical features in a complementary manner. Furthermore, we apply Mamba+ both forward and backward and propose Bi-Mamba+, aiming to promote the model's ability to capture interactions among time series elements. Additionally, multivariate time series data in different scenarios may exhibit varying emphasis on intra- or inter-series dependencies. Therefore, we propose a series-relation-aware decider that controls the utilization of channel-independent or channel-mixing tokenization strategy for specific datasets. Extensive experiments on 8 real-world datasets show that our model achieves more accurate predictions compared with state-of-the-art methods.