SAGE: Variate-Wise Semantic Augmentation for Vision-Language Time Series Forecasting

📄 arXiv: 2608.26829v1 📥 PDF

作者: Haizhao Fan, Xinyi Le

分类: cs.LG, cs.CV

发布日期: 2026-08-27

备注: 10 pages, 2 figures

💡 一句话要点

提出SAGE框架以解决时间序列预测中的语义缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 多模态融合 CLIP模型 语义增强 统计学习

📋 核心要点

  1. 现有时间序列预测模型缺乏对变量语义的理解，导致预测效果不佳。
  2. SAGE框架通过CLIP模型联合处理时间、文本和视觉信息，增强了模型的语义理解能力。
  3. 在多个基准测试中，SAGE表现出色，达到了最先进的准确率，验证了其有效性。

📝 摘要（中文）

时间序列预测模型通常处理原始数值序列，缺乏领域专家所隐含的语义知识，如变量的物理意义、统计行为和时间动态。现有方法分为两类：一类在推理时依赖大型语言模型，计算开销大；另一类在数据集层面应用统一文本提示，忽视了各个变量间的异质语义。本文提出SAGE（Seeing and Augmenting with Grounded Encoding），一个基于CLIP的端到端框架，联合建模时间、跨变量、文本和视觉信息。通过对频率增强的补丁和变量标记进行处理，SAGE在八个长期基准和M4数据集上实现了最先进的准确性。

🔬 方法详解

问题定义：本文旨在解决时间序列预测中模型对变量语义缺失的问题。现有方法要么依赖计算开销大的大型语言模型，要么忽视变量间的语义差异，导致预测效果不理想。

核心思路：SAGE框架通过CLIP模型的双重使用，联合建模时间序列的多模态信息，增强了对变量的语义理解，而不需要在预测过程中引入大型语言模型。

技术框架：SAGE的整体架构包括文本编码器和视觉编码器两个主要模块。文本编码器处理频率增强的补丁和变量标记，视觉编码器通过对比学习对渲染序列与时间表示进行对齐。

关键创新：SAGE的创新在于通过引入变量特定的描述和统计描述，增强了模型的多模态对齐能力，显著提升了预测性能。与现有方法相比，SAGE在不增加计算负担的情况下，提供了更丰富的语义信息。

关键设计：在设计中，SAGE采用了门控残差路径来注入变量特定的信息，同时使用冻结的CLIP视觉编码器进行训练，确保了模型的高效性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在八个长期基准和M4数据集上，SAGE实现了最先进的准确性，验证了其在时间序列预测中的有效性。实验结果显示，SAGE在多模态对齐和变量级知识的补充上，显著提高了预测性能，展示了其优越性。

🎯 应用场景

SAGE框架在金融市场预测、气象数据分析和工业设备监控等领域具有广泛的应用潜力。通过增强模型对时间序列数据的语义理解，SAGE能够提供更准确的预测，帮助决策者做出更明智的选择，具有重要的实际价值和未来影响。

📄 摘要（原文）

Time series forecasting models operate on raw numerical sequences, lacking the semantic knowledge that domain experts implicitly leverage, such as the physical meaning of each variable, its statistical behavior, and its temporal dynamics. Recent efforts to bridge this gap fall into two camps. Some rely on large language models at inference time, which is computationally expensive. Others apply uniform textual prompts at the dataset level, ignoring the heterogeneous semantics across individual variates. We propose SAGE (Seeing and Augmenting with Grounded Encoding), an end-to-end CLIP-based framework that jointly models temporal, cross-variable, textual, and visual information. The CLIP text encoder processes frequency-enhanced patches and variable tokens, while gated residual paths inject variable-specific descriptions and statistical descriptors. In parallel, the frozen CLIP vision encoder aligns rendered series with temporal representations through a training-only contrastive objective. This dual use of CLIP adds complementary semantic and visual supervision without placing an LLM in the forecasting loop. Across eight long-term benchmarks and M4, SAGE achieves state-of-the-art accuracy. Ablations confirm complementary gains from multimodal alignment and variable-level knowledge.