TimeWorld: Towards Action-Conditioned Multimodal World Models for Time Series Forecasting

📄 arXiv: 2610.34797v1 📥 PDF

作者: Hang Ni, Weijia Zhang, Hao Liu

分类: cs.LG

发布日期: 2026-10-26

备注: under review

💡 一句话要点

提出TimeWorld以解决时间序列预测中的行动依赖建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 多模态学习 行动依赖建模 预训练模型 动态变化预测

📋 核心要点

  1. 现有的时间序列世界模型在灵活干预规范方面存在局限，无法有效处理行动依赖的动态变化。
  2. 本文提出TimeWorld框架，通过显式的行动-响应建模来适配预训练的时间序列模型，增强预测能力。
  3. 实验结果显示，简单的文本前缀适配显著提升了预测性能，表明预训练的TSFMs在时间动态建模中具有潜力。

📝 摘要（中文）

时间序列预测在在线零售和网络管理等应用中支持决策，然而现有的时间序列世界模型（TSWMs）通常依赖固定的领域特定协变量架构，限制了灵活的干预规范。为此，本文引入了TSWM-Bench，一个跨领域的多模态TSWM基准，涵盖七个真实世界数据集，并通过记录的行动-结果数据为文本干预提供基础。研究发现，传统的多模态预测模型在历史数据基础的时间序列模型（TSFMs）面前表现不佳，而简单的文本前缀适配在所有评估的TSFM基础上都提高了预测性能。基于此，本文提出了TimeWorld，一个通过显式的行动-响应建模来适配预训练TSFMs的插件框架。

🔬 方法详解

问题定义：本文旨在解决时间序列预测中对行动依赖变化建模的不足，现有方法通常依赖固定的协变量架构，限制了灵活性和适应性。

核心思路：TimeWorld框架通过引入显式的行动-响应建模，利用预训练的时间序列模型（TSFMs）来提升对时间动态的理解和预测能力。

技术框架：该框架主要包括两个模块：原型引导的潜在调制（PLM）模块和行动对比学习（ACL）组件。PLM模块通过构建响应原型来调制未来的表示，而ACL组件则通过对比不同干预下的响应更新来强化行动特定的建模。

关键创新：最重要的创新在于PLM模块的设计，它通过将文本行动与时间动态相结合，提供了一种新的方式来调制未来的预测表示，与传统的多模态融合方法有本质区别。

关键设计：在模型设计中，PLM模块通过代表性响应原型的组合来实现调制，ACL组件则利用对比损失函数来区分不同类型的行动，同时保持相对强度关系。具体的参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果表明，简单的文本前缀适配在所有评估的时间序列模型基础上均显著提升了预测性能，尤其是在与历史数据对比时，传统的多模态预测模型表现不佳，显示出预训练TSFMs在时间动态建模中的潜力。

🎯 应用场景

TimeWorld框架在在线零售、网络管理等领域具有广泛的应用潜力，能够帮助决策者更好地预测和应对未来动态变化。通过有效建模行动与结果之间的关系，该研究为智能系统提供了更强的决策支持能力，未来可能在更多领域实现实际价值。

📄 摘要（原文）

Time series forecasting supports decision-making in web applications such as online retail and network management, where planned actions can reshape future dynamics. World models provide a natural paradigm for predicting such action-dependent changes beyond extrapolating historical patterns. However, existing time series world models (TSWMs) typically rely on fixed, domain-specific covariate schemas that limit flexible intervention specification, while multimodal forecasters treat text primarily as passive predictive context. To investigate these gaps, we introduce TSWM-Bench, a cross-domain benchmark for multimodal TSWMs spanning seven real-world datasets, with textual interventions grounded in recorded action--outcome data. Our evaluation reveals that conventional multimodal forecasters underperform history-only time series foundation models (TSFMs) despite dataset-specific training, whereas simple text-prefix adaptations improve forecasting across all evaluated TSFM backbones. These findings suggest that pretrained TSFMs encode implicit world knowledge of temporal dynamics, offering a strong foundation for action-conditioned modeling beyond conventional multimodal fusion. Building on this insight, we propose TimeWorld, a plug-in framework that adapts pretrained TSFMs through explicit action-response modeling. Specifically, the Prototype-Guided Latent Modulation (PLM) module grounds textual actions in temporal dynamics by composing representative response prototypes to modulate future representations based on the action and historical patterns. The Action Contrastive Learning (ACL) component strengthens action-specific response modeling by contrasting these updates under alternative interventions sharing the same history, distinguishing action types while preserving relative intensity relationships.