HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling with Self-Distillation for Long-Term Forecasting

📄 arXiv: 2401.05012v2 📥 PDF

作者: Shubao Zhao, Ming Jin, Zhaoxiang Hou, Chengyi Yang, Zengxiang Li, Qingsong Wen, Yi Wang

分类: cs.LG

发布日期: 2024-01-10 (更新: 2024-08-01)

备注: accepted by CIKM 2024

💡 一句话要点

提出HiMTM以解决时间序列多尺度建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 多尺度建模 自蒸馏 深度学习 变换器

📋 核心要点

  1. 现有时间序列预测方法往往忽视多尺度特性，导致预测准确性不足。
  2. HiMTM通过层次化多尺度建模和自蒸馏技术，增强了时间序列的特征提取能力。
  3. 在七个主流数据集上，HiMTM的性能提升显著，超越了当前最先进的方法。

📝 摘要（中文）

时间序列预测是实际应用中的一项关键且具有挑战性的任务。近年来，预训练基础模型在时间序列预测中的进展引起了广泛关注。然而，现有方法往往忽视了时间序列的多尺度特性，这对于准确预测至关重要。为此，本文提出了HiMTM，一种层次化多尺度掩蔽时间序列建模方法，结合自蒸馏技术以实现长期预测。HiMTM集成了四个关键组件：层次化多尺度变换器（HMT）、解耦编码器-解码器（DED）、层次化自蒸馏（HSD）和跨尺度注意力微调（CSA-FT），共同提升了掩蔽时间序列建模中的多尺度特征提取，显著提高了预测准确性。实验结果表明，HiMTM在七个主流数据集上的表现超越了最新的自监督和端到端学习方法，提升幅度达到3.16-68.54%。

🔬 方法详解

问题定义：本文旨在解决时间序列预测中对多尺度特性建模不足的问题。现有方法通常未能有效捕捉时间序列的多层次信息，导致预测精度不高。

核心思路：HiMTM通过引入层次化多尺度变换器和自蒸馏机制，旨在从不同时间尺度中提取丰富的特征信息，从而提升预测性能。

技术框架：HiMTM的整体架构包括四个主要模块：层次化多尺度变换器（HMT）用于捕捉不同时间尺度的时序信息；解耦编码器-解码器（DED）将特征提取与预训练任务分开；层次化自蒸馏（HSD）提供多阶段特征级的监督信号；跨尺度注意力微调（CSA-FT）则用于捕捉不同尺度之间的依赖关系。

关键创新：HiMTM的核心创新在于其层次化自蒸馏机制和跨尺度注意力微调，能够有效整合多尺度特征，显著提升预测准确性。这与传统方法的单一尺度建模形成鲜明对比。

关键设计：在模型设计中，HiMTM采用了特定的损失函数以优化多尺度特征的学习，并通过解耦的编码器和解码器结构，确保特征提取和任务学习的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HiMTM在七个主流数据集上的实验结果显示，其性能超越了当前最先进的自监督学习和端到端学习方法，提升幅度达到3.16-68.54%。此外，在跨域预测中，HiMTM相较于最新的自监督学习方法PatchTST也有显著提升，达到了2.3%。

🎯 应用场景

HiMTM在多个领域具有广泛的应用潜力，尤其是在能源需求预测、金融市场分析和气候变化建模等场景中。其高效的多尺度建模能力能够为决策提供更准确的依据，推动相关领域的智能化发展。

📄 摘要（原文）

Time series forecasting is a critical and challenging task in practical application. Recent advancements in pre-trained foundation models for time series forecasting have gained significant interest. However, current methods often overlook the multi-scale nature of time series, which is essential for accurate forecasting. To address this, we propose HiMTM, a hierarchical multi-scale masked time series modeling with self-distillation for long-term forecasting. HiMTM integrates four key components: (1) hierarchical multi-scale transformer (HMT) to capture temporal information at different scales; (2) decoupled encoder-decoder (DED) that directs the encoder towards feature extraction while the decoder focuses on pretext tasks; (3) hierarchical self-distillation (HSD) for multi-stage feature-level supervision signals during pre-training; and (4) cross-scale attention fine-tuning (CSA-FT) to capture dependencies between different scales for downstream tasks. These components collectively enhance multi-scale feature extraction in masked time series modeling, improving forecasting accuracy. Extensive experiments on seven mainstream datasets show that HiMTM surpasses state-of-the-art self-supervised and end-to-end learning methods by a considerable margin of 3.16-68.54\%. Additionally, HiMTM outperforms the latest robust self-supervised learning method, PatchTST, in cross-domain forecasting by a significant margin of 2.3\%. The effectiveness of HiMTM is further demonstrated through its application in natural gas demand forecasting.