Investigating the effects of the patch size in Time Series Foundation Models

📄 arXiv: 2611.02750v1 📥 PDF

作者: Jad Yehya, Andrei-Tiberiu Pantea, Aymeric Dieuleveut, Matthieu Kowalski, Thomas Moreau

分类: cs.LG, cs.AI

发布日期: 2026-11-02

💡 一句话要点

研究补丁大小对时间序列基础模型的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 补丁大小 变换器架构 编码器模型 解码器模型 上下文长度 性能优化

📋 核心要点

  1. 补丁大小的选择对时间序列模型的性能影响显著，但现有研究未能系统探讨其与模型架构的交互作用。
  2. 本文通过比较编码器和解码器模型，提出了补丁大小与预测性能之间的关系，强调了上下文长度的重要性。
  3. 实验结果表明，编码器模型在小补丁下表现优异，而解码器模型则在中等补丁大小下最佳，且随着预测范围的增加，解码器的优选补丁大小也在提升。

📝 摘要（中文）

补丁大小是基于补丁的时间序列基础模型中的一个核心设计选择，影响时间分辨率、序列长度和计算成本。本文通过对编码器和解码器预测模型的控制比较，研究了补丁大小如何与变换器架构相互作用。在97个GIFT-Eval任务中，编码器模型在较小补丁下表现更佳，而解码器模型的性能呈U型趋势，最佳的补丁大小在中间值。数据集级结果显示，解码器的优选补丁大小随着预测范围的增加而增加。对于编码器模型，增加上下文长度在不同补丁大小下均能提升性能，但在2048的上下文长度后增益减小。最后，训练计算和CPU延迟的Pareto分析揭示了互补的模式：解码器模型提供了低成本的高效替代方案，而编码器模型则实现了最高的整体准确性。这些结果表明，补丁大小和架构的选择应根据预测范围和部署约束进行调整。

🔬 方法详解

问题定义：本文旨在探讨补丁大小对时间序列基础模型的影响，现有方法未能充分考虑补丁大小与模型架构之间的相互作用，导致性能优化不足。

核心思路：通过对编码器和解码器模型的控制比较，分析不同补丁大小对预测性能的影响，提出在不同上下文长度下的最佳补丁选择策略。

技术框架：研究采用了变换器架构，分别构建了编码器和解码器模型，使用相同的数据集和优化预算进行训练，确保比较的公平性。

关键创新：本研究的创新在于系统性地分析了补丁大小与模型架构的交互作用，揭示了编码器模型在小补丁下的优势和解码器模型的U型性能趋势。

关键设计：在实验中，补丁大小、上下文长度等参数的设置经过精心设计，特别是上下文长度的增加在2048后性能提升减小，提供了对模型设计的实用指导。

📊 实验亮点

实验结果显示，编码器模型在小补丁下的性能显著优于其他设置，而解码器模型的最佳补丁大小呈现U型趋势，整体性能在中等补丁下最佳。随着预测范围的增加，解码器模型的优选补丁大小也随之增加，提供了新的设计思路。

🎯 应用场景

该研究的潜在应用领域包括金融预测、气象数据分析和智能制造等时间序列预测任务。通过优化补丁大小和模型架构的选择，可以在实际应用中提高预测精度和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Patch size is a central design choice in patch-based time-series foundation models, controlling temporal resolution, sequence length, and computational cost. We study how this choice interacts with transformer architecture through a controlled comparison of encoder-only and decoder-only forecasting models trained with the same data mixture and optimization budget. Across 97 GIFT-Eval tasks, encoder-only models consistently benefit from smaller patches, whereas decoder-only performance follows a U-shaped trend, with an intermediate patch size performing best in aggregate. Dataset-level results further show that the preferred decoder patch size increases with the forecasting horizon. For encoder-only models, increasing context length improves performance across patch sizes, although the gains diminish beyond a context length of 2048. Finally, training-compute and CPU-latency Pareto analyses reveal complementary regimes: decoder-only models provide efficient low-cost alternatives, while encoder-only models attain the highest overall accuracy. These results show that the choice of patch size and architecture should be made depending on the forecasting horizon and deployment constraints.