TiRex-2: Generalizing TiRex to Multivariate Data and Streaming
作者: Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter
分类: cs.LG
发布日期: 2026-07-01
💡 一句话要点
提出TiRex-2以解决多变量时间序列预测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列预测 多变量数据 流式处理 递归神经网络 因果性 模型优化 机器学习
📋 核心要点
- 现有的时间序列预测模型在处理多变量数据时面临计算复杂度高和历史数据重计算的问题。
- TiRex-2采用内存中心的递归设计，结合双向时间混合器和不对称分组注意力机制，支持流式处理和未来协变量的集成。
- TiRex-2在GIFT-Eval和fev-bench上实现了最先进的零-shot性能，并在流式处理时保持稳定的推理成本。
📝 摘要（中文）
我们介绍了TiRex-2，这是一种基于xLSTM的递归时间序列基础模型，能够将单变量TiRex推广到多变量预测，支持过去和未来协变量的使用。现有的基于Transformer的时间序列模型虽然能够捕捉变量间的依赖关系，但在上下文长度上存在二次复杂度，并且在新观察到达时需要重新计算完整历史。TiRex-2通过一种以内存为中心的递归设计解决了这些限制，能够在流式处理下以恒定的每个补丁成本运行。该模型结合了双向时间混合器和不对称分组注意力变体混合器，能够在保持目标变量严格因果性的同时集成未来已知的协变量。根据我们的知识，这是首次实现这种特性的时间序列基础模型。
🔬 方法详解
问题定义：论文旨在解决多变量时间序列预测中的计算复杂度和历史数据重计算问题。现有的Transformer模型在处理新数据时效率低下，无法有效利用未来已知的协变量。
核心思路：TiRex-2通过内存中心的递归设计，结合双向时间混合器和不对称分组注意力机制，能够在流式处理下以恒定的成本运行，同时保持因果性。
技术框架：TiRex-2的整体架构包括一个递归网络，能够处理时间序列数据的流式输入，使用双向时间混合器和变体混合器来整合多变量信息。
关键创新：TiRex-2是首个实现未来已知协变量集成与严格因果性保持的时间序列基础模型，突破了传统模型的局限。
关键设计：该模型在单变量模式下使用3840万个活跃参数，在多变量预测时激活额外的4410万个参数，确保了模型的灵活性和扩展性。损失函数和参数设置经过精心设计，以优化多变量预测的性能。
🖼️ 关键图片
📊 实验亮点
TiRex-2在GIFT-Eval和fev-bench上实现了最先进的零-shot性能，展示了其在多变量时间序列预测中的优势。该模型在流式处理时保持恒定的推理成本，确保了高效性和稳定性。
🎯 应用场景
TiRex-2在金融预测、气象预报和供应链管理等领域具有广泛的应用潜力。其高效的流式处理能力和对未来信息的利用，可以显著提升实时决策的准确性和效率，推动智能系统的发展。
📄 摘要（原文）
We introduce TiRex-2, a recurrent xLSTM-based time series foundation model that generalizes the univariate TiRex to multivariate forecasting with both past and future covariates. Real-world forecasting is inherently sequential: observations arrive continuously, variables evolve jointly, and a subset of covariates is known ahead of time. Existing Transformer-based time series foundation models capture cross-variate dependencies but incur quadratic complexity in context length and require full-history recomputation as new observations arrive. TiRex-2 addresses these limitations through a memory-centric recurrent design that operates at constant per-patch cost under streaming. The model combines a bidirectional time mixer with an asymmetric grouped-attention variate mixer, enabling the integration of future-known covariates while preserving strict causality over target variables. To our knowledge, this is the first time series foundation model that achieves this combination of properties. To support scalable multivariate pretraining, we propose a synthetic coupling pipeline that composes diverse multivariate samples on the fly from large univariate corpora. Empirically, TiRex-2 achieves state-of-the-art zero-shot performance on GIFT-Eval and fev-bench, remains stable when streamed to arbitrary context lengths, and maintains constant inference cost per patch. The model uses 38.4M active parameters in univariate mode, with an additional 44.1M parameters activated for multivariate forecasting.