How Good Can Linear Models Be for Time-Series Forecasting?

📄 arXiv: 2606.27282v1 📥 PDF

作者: Lang Huang, Jinglue Xu, Luke Darlow

分类: cs.LG

发布日期: 2026-06-25

备注: 17 pages, 10 figures, and 5 tables

💡 一句话要点

提出基于线性模型的时间序列预测优化方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 岭回归 超参数优化 数据预处理 模型比较 预测准确性 机器学习

📋 核心要点

  1. 现有时间序列预测方法依赖于大型模型架构，导致成本高且效率低。
  2. 本文通过岭回归探索超参数调优，强调预处理的重要性而非模型规模。
  3. 实验结果显示，优化后的线性模型在多个基准测试中表现优于传统方法，具有显著提升。

📝 摘要（中文）

时间序列预测研究逐渐向更大架构发展，假设模型容量是提高准确度的关键。本文则提出相反观点，认为通过调整预处理方法可以在更低成本下缩小预测误差。以岭回归为测试平台，探索了上下文长度、局部归一化、正则化和数据增强等超参数，发现了三个主要模式：最优回溯长度与时间序列特性密切相关，归一化学习的上下文部分优于整体归一化，以及同一数据集中不同序列的超参数存在显著差异。优化后的模型在大多数数据集上超越了以往线性预测模型，并在六个基准测试中超过了Transformer、MLP和CNN模型。

🔬 方法详解

问题定义：本文旨在解决时间序列预测中对大型模型的过度依赖，现有方法往往忽视了预处理对预测性能的影响。

核心思路：通过岭回归作为测试平台，探索不同的超参数设置，强调通过优化预处理来提升预测准确性，而非单纯扩大模型规模。

技术框架：研究流程包括超参数搜索，涵盖上下文长度、局部归一化、正则化和数据增强等模块，针对八个标准基准进行验证。

关键创新：提出了最优回溯长度与时间序列特性相关的观点，挑战了传统认为长时间预测需要更长历史数据的假设。

关键设计：在超参数设置中，采用了学习的上下文部分进行归一化，且发现同一数据集中序列间的超参数共享程度差异显著，优化后的模型在多个数据集上超越了传统线性预测模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，优化后的线性模型在大多数数据集上超越了以往的线性预测模型，并在六个基准测试中超过了Transformer、MLP和CNN模型，显示出显著的性能提升，尤其是在特定数据集和预测时间范围内。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析和供应链管理等时间序列相关的任务。通过优化线性模型的超参数，可以在资源有限的情况下实现高效的预测，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from $+0.46$ on ETTm2 to $-0.19$ on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.