Only the Curve Shape Matters: Training Foundation Models for Zero-Shot Multivariate Time Series Forecasting through Next Curve Shape Prediction

📄 arXiv: 2402.07570v2 📥 PDF

作者: Cheng Feng, Long Huang, Denis Krompass

分类: cs.LG, cs.AI

发布日期: 2024-02-12 (更新: 2024-02-19)

💡 一句话要点

提出GTT模型以解决零-shot多变量时间序列预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 零-shot学习 通道级预测 深度学习 模型预训练 多变量分析

📋 核心要点

  1. 现有的多变量时间序列预测方法在处理未见数据时表现不佳，缺乏有效的零-shot学习能力。
  2. 论文提出了一种新的框架，将多变量时间序列预测视为通道级的下一个曲线形状预测问题，利用过去的曲线形状进行预测。
  3. 实验结果显示，GTT在零-shot多变量预测任务中优于现有的监督学习基线，验证了其有效性和可扩展性。

📝 摘要（中文）

我们提出了通用时间变换器（GTT），这是一种用于零-shot多变量时间序列预测的编码器风格基础模型。GTT在一个包含2亿个高质量时间序列样本的大型数据集上进行了预训练，涵盖了多个领域。在我们提出的框架中，多变量时间序列预测任务被表述为通道级的下一个曲线形状预测问题，每个时间序列样本被表示为一系列具有统一数值幅度的非重叠曲线形状。GTT被训练以基于过去曲线形状的窗口以通道方式预测下一个曲线形状。实验结果表明，GTT在未见时间序列数据集上展现出优越的零-shot多变量预测能力，甚至超过了最先进的监督基线。此外，我们还研究了GTT模型参数和训练数据集规模的变化影响，观察到在零-shot多变量时间序列预测的背景下，缩放法则同样适用。

🔬 方法详解

问题定义：本论文旨在解决多变量时间序列预测中的零-shot学习问题。现有方法在面对未见数据时，通常依赖于大量标注数据，导致其泛化能力不足。

核心思路：我们提出将多变量时间序列预测转化为通道级的下一个曲线形状预测问题，通过对过去曲线形状的分析来进行预测，这种方法能够有效利用已有数据的结构信息。

技术框架：GTT模型采用编码器结构，首先对200M高质量时间序列样本进行预训练。模型通过输入一段历史曲线形状，输出下一个曲线形状，整个过程是通道级的，确保了多变量之间的关系被充分捕捉。

关键创新：GTT的核心创新在于将时间序列预测问题重新定义为曲线形状预测，突破了传统方法对标注数据的依赖，使得模型在零-shot场景下依然能够有效预测。

关键设计：模型的设计包括通道级的输入输出结构，损失函数采用了适合曲线形状预测的度量标准，网络结构则优化了对时间序列特征的提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GTT在多个未见时间序列数据集上实现了显著的性能提升，超越了当前最先进的监督学习基线，具体提升幅度达到XX%。这一结果验证了模型在零-shot多变量预测中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析、健康监测等多个需要处理多变量时间序列的场景。通过提高零-shot学习能力，GTT模型能够在缺乏标注数据的情况下，依然提供有效的预测，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

We present General Time Transformer (GTT), an encoder-only style foundation model for zero-shot multivariate time series forecasting. GTT is pretrained on a large dataset of 200M high-quality time series samples spanning diverse domains. In our proposed framework, the task of multivariate time series forecasting is formulated as a channel-wise next curve shape prediction problem, where each time series sample is represented as a sequence of non-overlapping curve shapes with a unified numerical magnitude. GTT is trained to predict the next curve shape based on a window of past curve shapes in a channel-wise manner. Experimental results demonstrate that GTT exhibits superior zero-shot multivariate forecasting capabilities on unseen time series datasets, even surpassing state-of-the-art supervised baselines. Additionally, we investigate the impact of varying GTT model parameters and training dataset scales, observing that the scaling law also holds in the context of zero-shot multivariate time series forecasting.