AutoTimes: Autoregressive Time Series Forecasters via Large Language Models

📄 arXiv: 2402.02370v4 📥 PDF

作者: Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long

分类: cs.LG, cs.CL

发布日期: 2024-02-04 (更新: 2024-10-31)

🔗 代码/项目: GITHUB

💡 一句话要点

提出AutoTimes以解决时间序列预测中的LLM利用不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 大型语言模型 自回归模型 上下文预测 多变量对齐

📋 核心要点

  1. 现有时间序列预测方法未能充分利用大型语言模型的自回归特性，导致预测性能不足。
  2. AutoTimes通过将时间序列投影到语言标记的嵌入空间，利用LLM的自回归能力进行多步预测。
  3. AutoTimes在训练参数极少的情况下，达到了当前最先进的性能，并显著提升了训练和推理速度。

📝 摘要（中文）

时间序列的基础模型尚未得到充分发展，主要由于时间序列语料的有限性和可扩展预训练的探索不足。基于时间序列与自然语言的相似顺序结构，越来越多的研究表明利用大型语言模型（LLM）进行时间序列预测的可行性。然而，LLM的自回归特性和仅解码器架构尚未得到充分考虑，导致LLM能力的利用不足。为此，本文提出AutoTimes，将LLM重新用于自回归时间序列预测，将时间序列投影到语言标记的嵌入空间，并自回归生成任意长度的未来预测。该方法兼容任何仅解码器的LLM，展现出回顾长度的灵活性和与更大LLM的可扩展性。通过引入嵌入文本时间戳，AutoTimes能够利用时间信息对齐多变量时间序列。实验证明，AutoTimes在训练参数仅为0.1%的情况下，训练和推理速度比先进的LLM基础预测器提升超过5倍。

🔬 方法详解

问题定义：本文旨在解决时间序列预测中大型语言模型（LLM）利用不足的问题。现有方法未能充分考虑LLM的自回归特性和仅解码器架构，导致预测效果不佳。

核心思路：AutoTimes的核心思路是将时间序列数据投影到语言标记的嵌入空间，并利用LLM的自回归能力生成未来的预测。通过这种方式，AutoTimes能够灵活地处理不同长度的预测任务。

技术框架：AutoTimes的整体架构包括数据预处理、时间序列嵌入、LLM自回归生成和后处理等模块。首先，将时间序列数据转换为适合LLM处理的格式，然后通过LLM进行自回归预测，最后对生成的结果进行解码和后处理。

关键创新：AutoTimes的主要创新在于将时间序列视为提示，扩展了预测的上下文超出回顾窗口，称为上下文预测。此外，引入LLM嵌入的文本时间戳，使得多变量时间序列的对齐更加有效。

关键设计：在参数设置上，AutoTimes仅需0.1%的可训练参数。损失函数采用标准的自回归损失，网络结构基于现有的仅解码器LLM设计，确保了模型的高效性和可扩展性。通过这些设计，AutoTimes实现了显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AutoTimes在实验中表现出色，训练参数仅为0.1%，同时实现了超过5倍的训练和推理速度提升。与现有的先进LLM基础预测器相比，AutoTimes在性能上达到了当前的最先进水平，展示了其在时间序列预测中的优越性。

🎯 应用场景

AutoTimes在金融市场预测、气象数据分析和智能制造等领域具有广泛的应用潜力。其高效的时间序列预测能力能够为决策支持系统提供更准确的预测结果，进而提升各行业的运营效率和决策质量。未来，随着时间序列数据的不断增长，AutoTimes有望在更多实际场景中发挥重要作用。

📄 摘要（原文）

Foundation models of time series have not been fully developed due to the limited availability of time series corpora and the underexploration of scalable pre-training. Based on the similar sequential formulation of time series and natural language, increasing research demonstrates the feasibility of leveraging large language models (LLM) for time series. Nevertheless, the inherent autoregressive property and decoder-only architecture of LLMs have not been fully considered, resulting in insufficient utilization of LLM abilities. To fully revitalize the general-purpose token transition and multi-step generation capability of large language models, we propose AutoTimes to repurpose LLMs as autoregressive time series forecasters, which projects time series into the embedding space of language tokens and autoregressively generates future predictions with arbitrary lengths. Compatible with any decoder-only LLMs, the consequent forecaster exhibits the flexibility of the lookback length and scalability with larger LLMs. Further, we formulate time series as prompts, extending the context for prediction beyond the lookback window, termed in-context forecasting. By introducing LLM-embedded textual timestamps, AutoTimes can utilize chronological information to align multivariate time series. Empirically, AutoTimes achieves state-of-the-art with 0.1% trainable parameters and over $5\times$ training/inference speedup compared to advanced LLM-based forecasters. Code is available at this repository: https://github.com/thuml/AutoTimes.