TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis

📄 arXiv: 2402.16412v2 📥 PDF

作者: Sabera Talukder, Yisong Yue, Georgia Gkioxari

分类: cs.LG

发布日期: 2024-02-26 (更新: 2025-01-01)

备注: Accepted to TMLR (12/24), 33 pages. TMLR link: https://openreview.net/pdf?id=QlTLkH6xRC

期刊: Transactions on Machine Learning Research 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出TOTEM以解决通用时间序列分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分析 通用模型 离散化标记 自监督学习 异常检测 数据插补 预测任务

📋 核心要点

  1. 现有时间序列模型通常在单一数据集上训练，缺乏通用性，难以适应多任务需求。
  2. TOTEM方法通过离散化时间序列数据，利用固定标记化策略，构建通用时间序列模型。
  3. TOTEM在多项任务上进行近500次实验，结果显示其性能与现有最优模型相当或更优，验证了其有效性。

📝 摘要（中文）

本研究探讨了使用通用模型进行时间序列分析的问题，借鉴了大型语言模型的成功经验。我们提出了一种简单的策略，通过自监督学习对来自多个数据集的时间序列数据进行离散化标记，然后利用固定的标记化方法在多个数据领域中解决各种任务。我们的方法TOTEM能够在几乎不进行微调的情况下，生成高效的通用时间序列模型，并展现出强大的零-shot性能。通过对近500个实验的广泛评估，我们发现TOTEM在数据插补、异常检测和预测等任务上，与现有的最先进模型相比，表现出色，验证了标记化在通用时间序列分析中的有效性。

🔬 方法详解

问题定义：本论文旨在解决时间序列分析中的通用性问题，现有方法通常专注于单一数据集或特定任务，限制了其应用范围。

核心思路：我们提出的TOTEM方法通过对时间序列数据进行离散化标记，利用自监督学习生成通用模型，从而在多个任务中实现强大的性能。

技术框架：TOTEM的整体架构包括数据预处理、离散化标记、模型训练和任务适应四个主要模块。首先，对时间序列数据进行预处理，然后进行离散化标记，接着使用固定标记训练模型，最后在不同任务上进行评估。

关键创新：TOTEM的主要创新在于其离散化标记策略，使得模型能够在多个领域中无缝迁移，避免了传统方法的微调需求。

关键设计：在模型设计中，我们采用了自监督学习的方式进行数据标记，设置了适当的损失函数以优化模型性能，并确保模型结构能够有效处理时间序列数据的特性。

📊 实验亮点

TOTEM在数据插补、异常检测和预测任务上进行了近500次实验，结果显示其在多个基准数据集上超越了17个、19个和14个基线模型，展现出显著的性能提升，验证了其作为通用时间序列分析工具的有效性。

🎯 应用场景

TOTEM方法在多个领域具有广泛的应用潜力，包括金融市场分析、环境监测、医疗健康数据分析等。其通用性和强大的零-shot性能使得研究人员和工程师能够在不同任务中快速部署和应用该模型，提升工作效率和准确性。

📄 摘要（原文）

This work studies the problem of time series analysis with generalist (or foundation) models, which are models trained across many data domains. Drawing inspiration from the widespread success of large language models, we consider the simple strategy of discretely tokenizing time series data drawn from a myriad of datasets via self-supervision, then using the fixed tokenization to solve a variety of tasks across many data domains. Canonically, time series models are either trained on a single dataset or built in a task-specific manner (e.g., a forecasting-only model), where many use patches of time as inputs to the model. As such, performant generalist, discrete representation time series models explored across many tasks are of value. Our method, TOkenized Time Series EMbeddings (TOTEM), produces such generalist time series models with minimal or no fine-tuning while exhibiting strong zero-shot performance. We evaluate TOTEM extensively over nearly 500 experiments on three commonly-studied time series tasks with real-world data: imputation (17 baselines, 12 datasets), anomaly detection (19 baselines, 25 datasets), and forecasting (14 baselines, 12 datasets). We conclude that TOTEM matches or outperforms existing state-of-the-art models in both the canonical specialist setting (i.e., training one model on one domain) as well as the generalist setting (i.e., training a single model on many domains), which demonstrates the efficacy of tokenization for general time series analysis. The open-source implementation is available here: https://github.com/SaberaTalukder/TOTEM; a video summary is available here: https://www.youtube.com/watch?v=OqrCpdb6MJk.