Harmonic Dataset Distillation for Time Series Forecasting

📄 arXiv: 2603.03760v1 📥 PDF

作者: Seungha Hong, Sanghwan Jang, Wonbin Kweon, Suyeon Kim, Gyuseok Lee, Hwanjo Yu

分类: cs.LG

发布日期: 2026-03-04

备注: AAAI 2026

💡 一句话要点

提出HDT，通过频域谐波匹配进行时间序列数据集蒸馏，提升泛化性和可扩展性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列预测 数据集蒸馏 频域分析 傅里叶变换 谐波匹配

📋 核心要点

  1. 传统数据集蒸馏方法在时间序列预测中表现不佳，容易出现架构过拟合，且可扩展性有限，难以应用于大规模数据。
  2. HDT方法的核心思想是在频域中进行数据集蒸馏，通过FFT分解时间序列，并利用谐波匹配对齐周期结构，保持时间依赖性。
  3. 实验结果表明，HDT在跨架构泛化和可扩展性方面表现出色，验证了其在实际应用中的有效性，尤其是在大规模场景下。

📝 摘要（中文）

现代时间序列预测（TSF）由于现实世界数据的巨大规模而面临着显著的计算和存储成本挑战。数据集蒸馏（DD）作为一种有前景的解决方案应运而生，它合成一个小的、紧凑的数据集，以实现与原始数据集相当的训练性能。然而，传统的DD方法并非为时间序列量身定制，并且存在架构过拟合和有限的可扩展性问题。为了解决这些问题，我们提出了一种用于时间序列预测的谐波数据集蒸馏（HDT）。HDT通过FFT将时间序列分解为其正弦基，并通过谐波匹配对齐核心周期结构。由于此过程在频域中运行，因此蒸馏期间的所有更新都全局应用，而不会破坏时间序列的时间依赖性。大量的实验表明，HDT实现了强大的跨架构泛化和可扩展性，验证了其在大型现实世界应用中的实用性。

🔬 方法详解

问题定义：论文旨在解决大规模时间序列预测中数据集蒸馏的难题。现有方法在时间序列数据上表现不佳，主要痛点在于架构过拟合，即蒸馏后的数据集只适用于特定的模型结构，泛化能力差，并且难以扩展到大规模数据集上。

核心思路：论文的核心思路是将时间序列转换到频域进行处理，利用傅里叶变换（FFT）将时间序列分解为一系列正弦波，然后在频域上进行数据集蒸馏。通过在频域进行操作，可以更好地捕捉时间序列的周期性结构，并避免在时域操作中可能破坏的时间依赖性。

技术框架：HDT的技术框架主要包含以下几个阶段：1) FFT分解：使用FFT将原始时间序列数据转换到频域。2) 谐波匹配：在频域中，通过谐波匹配算法对齐不同时间序列的周期性结构。3) 数据集蒸馏：在频域上进行数据集蒸馏，生成一个小的、紧凑的蒸馏数据集。4) 逆FFT转换：将蒸馏后的频域数据转换回时域，得到最终的蒸馏数据集。

关键创新：HDT的关键创新在于将数据集蒸馏过程放在频域中进行。与传统的时域方法相比，频域方法能够更好地捕捉时间序列的周期性结构，并且可以全局地更新数据，避免破坏时间依赖性。此外，谐波匹配算法能够有效地对齐不同时间序列的周期性结构，提高蒸馏数据集的质量。

关键设计：HDT的关键设计包括：1) FFT窗口大小：选择合适的FFT窗口大小，以平衡频率分辨率和时间分辨率。2) 谐波匹配算法：设计有效的谐波匹配算法，以对齐不同时间序列的周期性结构。3) 蒸馏损失函数：设计合适的蒸馏损失函数，以保证蒸馏数据集能够保留原始数据集的关键信息。论文中具体使用的损失函数和网络结构等细节未明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HDT在跨架构泛化和可扩展性方面表现出色。具体性能数据和对比基线未在摘要中明确给出，但强调了HDT在大型现实世界应用中的实用性，暗示了其在性能上的显著提升。HDT能够生成更具泛化能力的蒸馏数据集，适用于不同的时间序列预测模型。

🎯 应用场景

HDT方法可应用于各种需要处理大规模时间序列数据的场景，例如金融市场预测、能源消耗预测、交通流量预测、工业生产过程监控等。通过数据集蒸馏，可以显著降低计算和存储成本，提高预测效率，并为资源受限的设备提供部署的可能性。该研究的未来影响在于推动时间序列分析技术在实际应用中的普及。

📄 摘要（原文）

Time Series forecasting (TSF) in the modern era faces significant computational and storage cost challenges due to the massive scale of real-world data. Dataset Distillation (DD), a paradigm that synthesizes a small, compact dataset to achieve training performance comparable to that of the original dataset, has emerged as a promising solution. However, conventional DD methods are not tailored for time series and suffer from architectural overfitting and limited scalability. To address these issues, we propose Harmonic Dataset Distillation for Time Series Forecasting (HDT). HDT decomposes the time series into its sinusoidal basis through the FFT and aligns the core periodic structure by Harmonic Matching. Since this process operates in the frequency domain, all updates during distillation are applied globally without disrupting temporal dependencies of time series. Extensive experiments demonstrate that HDT achieves strong cross-architecture generalization and scalability, validating its practicality for large-scale, real-world applications.