Spatial-Temporal Large Language Model for Traffic Prediction

📄 arXiv: 2401.10134v4 📥 PDF

作者: Chenxi Liu, Sun Yang, Qianxiong Xu, Zhishuai Li, Cheng Long, Ziyue Li, Rui Zhao

分类: cs.LG, cs.CL

发布日期: 2024-01-18 (更新: 2024-07-07)

备注: Accepted by MDM 2024 (Research Track)

🔗 代码/项目: GITHUB

💡 一句话要点

提出空间-时间大型语言模型以解决交通预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交通预测 大型语言模型 空间-时间嵌入 卷积神经网络 注意力机制 智能交通系统 时间序列分析

📋 核心要点

  1. 现有交通预测模型往往依赖复杂的神经网络结构，但其预测准确性提升有限，难以满足智能交通系统的需求。
  2. 本文提出的空间-时间大型语言模型（ST-LLM）通过将时间步视为令牌，并设计空间-时间嵌入来捕捉交通数据的空间和时间特征。
  3. 在真实交通数据集上的实验结果显示，ST-LLM在性能上超越了现有的最先进模型，尤其在少样本和零样本预测中表现出色。

📝 摘要（中文）

交通预测是智能交通系统的重要组成部分，旨在利用历史数据预测特定位置的未来交通特征。尽管现有模型往往侧重于复杂神经网络结构的开发，但其准确性并未显著提升。近期，大型语言模型在时间序列分析中表现出色。本文提出了一种空间-时间大型语言模型（ST-LLM）用于交通预测。ST-LLM将每个位置的时间步定义为令牌，并设计空间-时间嵌入以学习这些令牌的空间位置和全局时间模式。此外，通过融合卷积将这些嵌入整合到每个令牌中，以实现统一的空间-时间表示。我们还创新性地提出了部分冻结注意力策略，以适应LLM捕捉交通预测的全局空间-时间依赖性。实验证明，ST-LLM在真实交通数据集上表现优越，尤其在少样本和零样本预测场景中表现稳健。

🔬 方法详解

问题定义：本文旨在解决交通预测中的准确性不足问题，现有方法多依赖复杂的神经网络结构，未能有效捕捉空间和时间的依赖关系。

核心思路：提出空间-时间大型语言模型（ST-LLM），通过将时间步视为令牌，并设计空间-时间嵌入来学习交通数据的空间和时间模式，从而提高预测准确性。

技术框架：ST-LLM的整体架构包括时间步令牌的定义、空间-时间嵌入的设计以及通过融合卷积实现的统一表示，此外还引入部分冻结注意力策略来捕捉全局依赖性。

关键创新：ST-LLM的核心创新在于将时间步作为令牌，并通过空间-时间嵌入和部分冻结注意力策略有效捕捉交通数据的空间和时间依赖性，这与传统方法有本质区别。

关键设计：在模型设计中，采用了融合卷积来整合空间-时间嵌入，并设置了适当的超参数以优化模型性能，损失函数则针对交通预测任务进行了调整。

📊 实验亮点

在真实交通数据集上的实验结果表明，ST-LLM在预测准确性上显著优于现有最先进模型，尤其在少样本和零样本预测场景中，表现出色，展示了强大的空间-时间学习能力。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、城市交通管理和自动驾驶等。通过提高交通预测的准确性，ST-LLM能够帮助城市规划者和交通管理者优化交通流量，减少拥堵，提高出行效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Traffic prediction, an essential component for intelligent transportation systems, endeavours to use historical data to foresee future traffic features at specific locations. Although existing traffic prediction models often emphasize developing complex neural network structures, their accuracy has not improved. Recently, large language models have shown outstanding capabilities in time series analysis. Differing from existing models, LLMs progress mainly through parameter expansion and extensive pretraining while maintaining their fundamental structures. Motivated by these developments, we propose a Spatial-Temporal Large Language Model (ST-LLM) for traffic prediction. In the ST-LLM, we define timesteps at each location as tokens and design a spatial-temporal embedding to learn the spatial location and global temporal patterns of these tokens. Additionally, we integrate these embeddings by a fusion convolution to each token for a unified spatial-temporal representation. Furthermore, we innovate a partially frozen attention strategy to adapt the LLM to capture global spatial-temporal dependencies for traffic prediction. Comprehensive experiments on real traffic datasets offer evidence that ST-LLM is a powerful spatial-temporal learner that outperforms state-of-the-art models. Notably, the ST-LLM also exhibits robust performance in both few-shot and zero-shot prediction scenarios. The code is publicly available at https://github.com/ChenxiLiu-HNU/ST-LLM.