Align-RAG: Alignment Is All You Need for TSFM In-Context Learning

📄 arXiv: 2608.05571v1 📥 PDF

作者: Mohammad Asadi, Soheil Hor, Bardiya Akhbari, Jack W. O'Sullivan, Tahoura Nedaee, Layne C. Price, Raviteja Anantha, Euan Ashley, Ehsan Adeli

分类: cs.LG, cs.IR

发布日期: 2026-08-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出Align-RAG以优化时间序列模型的检索增强预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 检索增强 模型对齐 无训练方法 动态上下文整合

📋 核心要点

  1. 现有方法假设冻结的基础模型无法动态整合检索到的上下文，导致依赖于复杂的学习融合模块。
  2. Align-RAG通过对检索到的窗口进行幅度重标定和相位偏移，提出了一种无需训练的直接对齐方法。
  3. Align-RAG在多个数据集上表现优异，平均减少3.75%的MSE，并在不同架构的TSFM上实现了显著的性能提升。

📝 摘要（中文）

检索增强预测承诺在不进行微调的情况下将冻结的时间序列基础模型（TSFMs）适应于新领域，但现有方法通常依赖于学习的融合模块。我们提出Align-RAG，这是一种无训练的方法，通过对检索到的过去-未来窗口进行闭式的幅度重标定和整数滞后相位偏移，直接将其输入到冻结的基础模型中。Align-RAG在七个标准基准数据集上均优于现有的训练检索适配器，平均减少3.75%的均方误差（MSE），并在四个额外的冻结TSFM上进一步提高了零-shot MSE，提升幅度在2.5%到13.7%之间。我们的研究表明，冻结的TSFM已经支持动态的检索使用，闭式对齐应成为检索增强预测的默认基线。

🔬 方法详解

问题定义：本论文旨在解决现有检索增强预测方法对冻结时间序列基础模型的适应性不足，现有方法依赖于复杂的学习融合模块，无法充分利用检索信息。

核心思路：Align-RAG的核心思路是通过闭式的幅度重标定和整数滞后相位偏移，直接将检索到的过去-未来窗口输入到冻结的基础模型中，从而实现动态的上下文整合，而无需任何学习参数。

技术框架：Align-RAG的整体架构包括两个主要阶段：首先对检索到的窗口进行幅度和相位的调整，然后将调整后的数据输入到冻结的基础模型中进行预测。

关键创新：Align-RAG的主要创新在于其无训练的特性，证明了冻结的TSFM可以动态使用检索信息，而不需要依赖于学习的融合模块，这与现有方法形成了鲜明对比。

关键设计：Align-RAG的设计中没有引入任何学习参数，采用闭式的数学方法进行幅度重标定和相位偏移，确保了方法的简洁性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Align-RAG在七个标准数据集上均优于现有的训练检索适配器，平均减少3.75%的均方误差（MSE）。此外，在四个不同架构的冻结TSFM上，零-shot MSE提升幅度在2.5%到13.7%之间，显示出该方法的强大性能。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析和其他时间序列数据的智能处理。Align-RAG能够在不进行模型微调的情况下，快速适应新领域，具有显著的实际价值和广泛的应用前景。

📄 摘要（原文）

Retrieval-augmented forecasting promises to adapt frozen Time Series Foundation Models (TSFMs) to new domains without fine-tuning, but recent methods typically rely on learned fusion modules, i.e., trained adapters that merge retrieved examples into the backbone's forecast, based on the assumption that frozen backbones cannot dynamically incorporate retrieved context on their own. We show this assumption is unnecessary. We introduce Align-RAG, a training-free method that applies a closed-form per-pair amplitude rescaling and integer-lag phase shift to retrieved past-future windows before they enter a frozen backbone's context. With no learned parameters, Align-RAG outperforms the state-of-the-art trained retrieval adapter on a frozen Chronos-Bolt on all seven datasets of the standard benchmark (avg -3.75% MSE), showing that the gains previously attributed to learned fusion are recoverable without any training. Align-RAG further improves zero-shot MSE on four additional frozen TSFMs with various architectures by 2.5% to 13.7% per backbone with no per-backbone tuning. To probe why alignment helps, we compare the frozen backbone's prediction shift under aligned demonstrations to the closed-form ridge prediction shift on the same pairs. We find that aligned demonstrations induce prediction shifts that track a closed-form ridge predictor on the same pairs, with a future-shuffle control ruling out a futures-averaging account. Together, these results indicate that frozen TSFMs already support dynamic in-context use of retrievals, and that closed-form alignment should be the default baseline for retrieval-augmented forecasting before any fusion module is trained. Code available at: https://github.com/masadi-99/align-rag