When Do Foundation Models Pay Off? A Break-Even Analysis of Pretrained Time Series Forecasters

📄 arXiv: 2607.04919v1 📥 PDF

作者: Nicholas Tan Jerome, Frank Simon

分类: cs.LG

发布日期: 2026-07-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出基础模型的盈亏平衡分析以优化时间序列预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 基础模型 盈亏平衡分析 机器学习 模型选择

📋 核心要点

  1. 现有时间序列预测方法在基础模型的部署上面临高成本和不确定性，尤其是GPU资源的需求。
  2. 本文提出了一种盈亏平衡分析框架，系统评估基础模型的投资回报，帮助决策者选择合适的模型。
  3. 实验结果表明，在15个数据集上基础模型表现优于经典方法，而在6个数据集上经典方法在少量数据下更具优势。

📝 摘要（中文）

部署时间序列基础模型需要GPU基础设施和工程投入，并不一定优于XGBoost。本文首次系统性地进行盈亏平衡分析，探讨何时投资是合理的。在30个基准数据集上，我们比较了零-shot和LoRA微调的基础模型（Chronos、Moirai、Lag-Llama）与经典基线（Naive、ETS、ARIMA、XGBoost），在不同训练集大小下的表现。结果显示，基础模型在15个数据集上超越经典方法，GPU部署在这些情况下是合理的。相反，在6个数据集上，经典方法在仅2%的训练数据下就超过了零-shot基础模型。我们提出了一个两步决策框架，帮助从业者在全面投入基础设施前做出FM与经典方法的选择。

🔬 方法详解

问题定义：本文旨在解决基础模型在时间序列预测中的投资回报不确定性，现有方法在资源需求和性能提升上存在挑战。

核心思路：通过系统的盈亏平衡分析，评估基础模型与经典方法的表现差异，帮助决策者在不同数据条件下选择合适的模型。

技术框架：研究采用了两步决策框架，首先计算数据集长度和季节性强度，必要时进行5-10%的小规模试点，以便在全面部署前做出明智选择。

关键创新：首次提出了在不同训练数据量下的基础模型与经典方法的比较，明确了在特定条件下的最佳模型选择策略。

关键设计：研究中设定了训练数据量的阈值（如700样本），并分析了季节性对模型选择的影响，强调了零-shot方法在短序列中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在15个数据集上，基础模型在所有训练比例下均优于经典方法，而在6个数据集上，经典方法在仅2%的训练数据下超过了零-shot基础模型。此研究为决策提供了明确的指导，尤其是在数据量较小的情况下。

🎯 应用场景

该研究为时间序列预测领域提供了实用的决策工具，能够帮助企业和研究机构在资源有限的情况下优化模型选择。未来，随着数据量和计算能力的提升，该框架可广泛应用于金融、气象、供应链等多个行业的预测任务。

📄 摘要（原文）

Deploying a time series foundation model requires GPU infrastructure, engineering overhead, and carries no guarantee of improvement over XGBoost. We provide the first systematic break-even analysis answering when this investment pays off. Across 30 benchmark datasets, we compare zero-shot and LoRA fine-tuned foundation models (Chronos, Moirai, Lag-Llama) against classical baselines (Naive, ETS, ARIMA, XGBoost) at six training set sizes from 2% to 100% of available data. Foundation models outperform classical methods at every evaluated training fraction on 15 of 30 datasets -- GPU deployment is unconditionally justified on these regardless of data volume. On 6 datasets, classical methods surpass zero-shot foundation models with as little as 2% of training data (21-2,768 samples); on the remaining 9, break-even ranges from 24 to 8,361 samples. One robust deployment rule requires no model training: if n_train < 700 and seasonality is non-negligible, use FM zero-shot and skip fine-tuning -- this resolves 10 of 30 deployment decisions immediately. Contrary to common practice, LoRA fine-tuning can actively degrade performance on short series. We operationalise these findings as a two-step decision framework -- compute dataset length and seasonality strength, run a brief 5-10% pilot only if needed -- enabling practitioners to make the FM-versus-classical decision before committing to full infrastructure. Four dataset features motivate mechanistic hypotheses for the remaining cases, though reliable automated prediction at this benchmark scale remains an open problem. Code, benchmark, and decision tools are available at https://github.com/nicolaisi/fm-breakeven.