LiveHouse-TS: An Open-world Living Benchmark for Time Series Foundation Models

📄 arXiv: 2608.17299v1 📥 PDF

作者: Haomin Wen, Ziyu Zhou, Qingxiang Liu, Siru Zhong, Yuxuan Liang

分类: cs.AI

发布日期: 2026-08-18

💡 一句话要点

提出LiveHouse-TS以解决时间序列模型评估的动态性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列模型 动态评估 开放世界基准 跨领域预测 模型稳定性

📋 核心要点

  1. 现有时间序列模型评估方法依赖静态基准，无法捕捉模型在动态环境中的表现。
  2. 本文提出LiveHouse-TS，利用实时数据在开放世界环境中进行预先评估，提升模型评估的动态性。
  3. 在11个领域的17个数据集上进行的广泛评估显示，静态排名在实时协议下发生了显著变化。

📝 摘要（中文）

时间序列基础模型（TSFMs）作为一种跨领域零-shot预测的新兴范式，面临着现有评估协议依赖静态基准的挑战。这些基准虽然提供了有价值的快照，但无法反映模型在不断变化的真实环境中的表现。为此，本文提出了LiveHouse-TS，这是首个开放世界的动态基准基础设施，通过在开放世界环境中对模型进行实时评估，推动时间序列基准从快照准确性转向持续的时间有效性。该基础设施不仅是一次性的排行榜，而是一个探索长期科学问题的持续时间序列基础设施。

🔬 方法详解

问题定义：本文旨在解决现有时间序列基础模型评估方法的不足，尤其是静态基准无法反映模型在动态环境中的表现。

核心思路：提出LiveHouse-TS，通过在开放世界环境中实时评估模型，转变时间序列模型的评估方式，关注模型的长期有效性和稳定性。

技术框架：LiveHouse-TS的整体架构包括数据流处理模块、模型评估模块和结果分析模块，支持实时数据输入和动态评估。

关键创新：该研究的核心创新在于将时间序列模型评估从静态快照转向动态实时评估，允许研究者探索模型在不同环境下的表现。

关键设计：在设计中，采用了动态数据流处理技术，确保模型在实际应用中的评估准确性，并设置了适应性损失函数以应对数据分布的变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在11个领域的17个数据集上，采用LiveHouse-TS的动态评估协议，模型排名发生了显著重组，显示出静态评估方法的局限性。这一发现强调了动态评估在时间序列模型研究中的重要性。

🎯 应用场景

LiveHouse-TS的研究成果具有广泛的应用潜力，尤其在金融预测、气候变化监测和智能制造等领域。通过提供动态评估机制，研究者和工程师能够更好地理解和优化模型在真实世界中的表现，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Time Series Foundation Models (TSFMs) have recently emerged as a highly promising paradigm for cross-domain zero-shot forecasting. However, existing evaluation protocols predominantly rely on static benchmarks with fixed historical test windows. While these benchmarks provide a valuable baseline snapshot, they evaluate an average performance on a fixed history, failing to capture how models behave in continuously evolving real-world environments characterized by seasonal variations, distribution shifts, and unexpected events. To bridge this gap, we introduce LiveHouse-TS, the first open-world living benchmark infrastructure for TSFMs. By evaluating models prequentially on real future data in open-world environments, LiveHouse-TS shifts time series benchmarking from snapshot accuracy to continuous temporal validity. Rather than acting as a one-off leaderboard, our infrastructure serves as a continuous time series infrastructure designed to explore vital, long-term scientific questions: Can model rankings be maintained over the long term? Which models remain genuinely robust under distribution shifts? Extensive streaming evaluations across 11 domains with 17 datasets demonstrate that static rankings undergo a dramatic reshuffling under a live protocol.