SPAT: Sensitivity-based Multihead-attention Pruning on Time Series Forecasting Models

📄 arXiv: 2505.08768v1 📥 PDF

作者: Suhan Guo, Jiahong Deng, Mengjun Yi, Furao Shen, Jian Zhao

分类: cs.LG

发布日期: 2025-05-13

💡 一句话要点

提出SPAT方法以优化时间序列预测模型的计算效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列预测 注意力机制 模型剪枝 计算效率 深度学习

📋 核心要点

  1. 现有的注意力机制在多变量时间序列预测中虽然表现优异，但计算成本高，导致模型效率低下。
  2. 本文提出SPAT方法，通过结构化剪枝选择性去除冗余的注意力模块，降低模型复杂度并提高推理速度。
  3. 实验结果显示，SPAT剪枝模型在多个指标上均有显著提升，且在标准和零样本推理中超越了现有的轻量级方法。

📝 摘要（中文）

基于注意力的架构在多变量时间序列预测中表现优异，但计算开销较大。为此，本文提出了一种结构化剪枝方法SPAT（敏感性剪枝注意力），该方法选择性地去除冗余的注意力机制，从而生成高效模型。与以往方法不同，SPAT旨在完全移除整个注意力模块，降低过拟合风险，并在不依赖专用硬件的情况下加速模型。我们提出了一种动态敏感性度量——敏感性增强归一化离散度（SEND），用于在预训练阶段评估每个注意力模块的重要性。实验结果表明，SPAT剪枝模型在均方误差（MSE）上减少了2.842%，在平均绝对误差（MAE）上减少了1.996%，并在浮点运算量（FLOPs）上减少了35.274%。此外，SPAT剪枝模型在标准和零样本推理中均优于现有的轻量级、基于Mamba和LLM的最先进方法，突显了保留最有效注意力机制的重要性。

🔬 方法详解

问题定义：当前的注意力机制虽然在时间序列预测中表现良好，但其高计算开销和复杂性限制了实际应用。现有的剪枝技术往往无法有效去除冗余模块，导致模型仍然较为庞大。

核心思路：SPAT方法通过动态评估每个注意力模块的重要性，选择性地去除冗余模块，从而实现高效的模型剪枝。此方法不仅降低了过拟合风险，还能在不依赖专用硬件的情况下加速推理过程。

技术框架：SPAT的整体架构包括预训练阶段的敏感性评估和剪枝阶段。首先，通过SEND度量每个注意力模块的敏感性，然后根据评估结果选择性去除冗余模块，最终得到优化后的模型。

关键创新：SPAT的核心创新在于提出了SEND度量，能够动态评估注意力模块的重要性，并在剪枝过程中完全移除冗余模块，这与以往方法的部分剪枝策略形成了鲜明对比。

关键设计：在模型设计中，SEND度量的计算方式和剪枝策略的选择至关重要。通过合理设置剪枝阈值和损失函数，确保剪枝后的模型在性能上仍然保持竞争力。

📊 实验亮点

实验结果显示，SPAT剪枝模型在均方误差（MSE）上减少了2.842%，在平均绝对误差（MAE）上减少了1.996%，并在浮点运算量（FLOPs）上减少了35.274%。此外，SPAT方法在标准和零样本推理中均超越了现有的轻量级、基于Mamba和LLM的最先进方法，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析和智能制造等多种时间序列预测场景。通过提高模型的计算效率，SPAT方法能够在资源受限的环境中实现实时预测，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Attention-based architectures have achieved superior performance in multivariate time series forecasting but are computationally expensive. Techniques such as patching and adaptive masking have been developed to reduce their sizes and latencies. In this work, we propose a structured pruning method, SPAT ($\textbf{S}$ensitivity $\textbf{P}$runer for $\textbf{At}$tention), which selectively removes redundant attention mechanisms and yields highly effective models. Different from previous approaches, SPAT aims to remove the entire attention module, which reduces the risk of overfitting and enables speed-up without demanding specialized hardware. We propose a dynamic sensitivity metric, $\textbf{S}$ensitivity $\textbf{E}$nhanced $\textbf{N}$ormalized $\textbf{D}$ispersion (SEND) that measures the importance of each attention module during the pre-training phase. Experiments on multivariate datasets demonstrate that SPAT-pruned models achieve reductions of 2.842% in MSE, 1.996% in MAE, and 35.274% in FLOPs. Furthermore, SPAT-pruned models outperform existing lightweight, Mamba-based and LLM-based SOTA methods in both standard and zero-shot inference, highlighting the importance of retaining only the most effective attention mechanisms. We have made our code publicly available https://anonymous.4open.science/r/SPAT-6042.