LSTTN: A Long-Short Term Transformer-based Spatio-temporal Neural Network for Traffic Flow Forecasting

📄 arXiv: 2403.16495v1 📥 PDF

作者: Qinyao Luo, Silu He, Xing Han, Yuhan Wang, Haifeng Li

分类: cs.LG, cs.AI, cs.SI

发布日期: 2024-03-25

备注: 15 pages, 10 figures, 6 tables

期刊: Knowledge-Based Systems 2024

DOI: 10.1016/j.knosys.2024.111637

🔗 代码/项目: GITHUB

💡 一句话要点

提出LSTTN以解决交通流预测中的长短期特征提取问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 交通流预测 时空图神经网络 长短期特征 Transformer 深度学习 智能交通系统 动态图卷积

📋 核心要点

  1. 现有的交通流预测模型主要依赖短期流量数据，无法捕捉复杂的长期趋势和周期性特征。
  2. 本文提出LSTTN框架，通过掩蔽子序列Transformer和动态图卷积层，综合提取长短期特征以提高预测精度。
  3. 在四个真实数据集上的实验结果显示，LSTTN在长期预测中相较于基线模型有显著提升，最优提升幅度达到16.78%。

📝 摘要（中文）

准确的交通流预测是智能交通系统中的一个基本问题，现有的时空图神经网络（STGNNs）由于结构限制只能利用短期流量数据，无法充分学习交通流中的复杂趋势和周期特征。为了解决这一问题，本文提出了一种新颖的LSTTN（长短期Transformer网络）框架，综合考虑历史交通流中的长短期特征。通过掩蔽子序列Transformer进行预训练，模型能够有效学习长历史序列中的压缩和上下文子序列时间表示。实验结果表明，LSTTN在60分钟的长期预测中，相较于基线模型至少提高了5.63%，最多提高了16.78%。

🔬 方法详解

问题定义：本文旨在解决现有交通流预测模型在提取长期趋势和周期性特征方面的不足，现有方法主要依赖短期数据，导致无法充分学习复杂的交通流模式。

核心思路：LSTTN框架通过结合长短期特征的提取，利用掩蔽子序列Transformer进行预训练，强制模型学习长历史序列中的压缩和上下文表示，从而有效捕捉交通流的长期趋势和短期波动。

技术框架：LSTTN整体架构包括掩蔽子序列Transformer、堆叠的一维扩张卷积层和动态图卷积层，分别用于提取长期趋势、周期特征和短期特征，最终将这些特征融合以生成预测结果。

关键创新：LSTTN的主要创新在于引入掩蔽子序列Transformer进行预训练，能够在长历史数据中有效学习到关键的时间表示，这一设计显著提升了模型对复杂交通流模式的学习能力。

关键设计：模型采用堆叠的一维扩张卷积层提取长期趋势，动态图卷积层提取周期特征，并通过短期趋势提取器学习细粒度的短期特征，确保了对不同时间尺度特征的全面捕捉。实验中使用的损失函数和参数设置经过精心调优，以实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个真实数据集上的实验结果显示，LSTTN模型在60分钟的长期预测中，相较于基线模型至少提高了5.63%，最优提升幅度达到16.78%，展示了其在交通流预测中的有效性和优势。

🎯 应用场景

该研究在智能交通系统中具有广泛的应用潜力，能够为交通管理、城市规划和自动驾驶等领域提供准确的交通流预测，进而优化交通资源配置和提升出行效率。未来，LSTTN框架还可以扩展到其他时序数据预测任务，如能源消耗预测和气象预报等。

📄 摘要（原文）

Accurate traffic forecasting is a fundamental problem in intelligent transportation systems and learning long-range traffic representations with key information through spatiotemporal graph neural networks (STGNNs) is a basic assumption of current traffic flow prediction models. However, due to structural limitations, existing STGNNs can only utilize short-range traffic flow data; therefore, the models cannot adequately learn the complex trends and periodic features in traffic flow. Besides, it is challenging to extract the key temporal information from the long historical traffic series and obtain a compact representation. To solve the above problems, we propose a novel LSTTN (Long-Short Term Transformer-based Network) framework comprehensively considering the long- and short-term features in historical traffic flow. First, we employ a masked subseries Transformer to infer the content of masked subseries from a small portion of unmasked subseries and their temporal context in a pretraining manner, forcing the model to efficiently learn compressed and contextual subseries temporal representations from long historical series. Then, based on the learned representations, long-term trend is extracted by using stacked 1D dilated convolution layers, and periodic features are extracted by dynamic graph convolution layers. For the difficulties in making time-step level prediction, LSTTN adopts a short-term trend extractor to learn fine-grained short-term temporal features. Finally, LSTTN fuses the long-term trend, periodic features and short-term features to obtain the prediction results. Experiments on four real-world datasets show that in 60-minute-ahead long-term forecasting, the LSTTN model achieves a minimum improvement of 5.63\% and a maximum improvement of 16.78\% over baseline models. The source code is available at https://github.com/GeoX-Lab/LSTTN.