CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning

📄 arXiv: 2403.07300v3 📥 PDF

作者: Peiyuan Liu, Hang Guo, Tao Dai, Naiqi Li, Jigang Bao, Xudong Ren, Yong Jiang, Shu-Tao Xia

分类: cs.LG, cs.CL

发布日期: 2024-03-12 (更新: 2025-04-08)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CALF框架以解决LLM在时间序列预测中的分布差异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 跨模态学习 大型语言模型 深度学习 特征对齐 少样本学习 零样本学习

📋 核心要点

  1. 现有的LLM-based MTSF方法忽视了文本与时间序列输入之间的分布差异，导致预测性能不佳。
  2. 本文提出CALF框架，通过跨模态匹配模块和特征正则化损失，减少文本和时间序列数据的分布差异。
  3. CALF在长短期预测任务中实现了最先进的性能，且计算复杂度低，展现出良好的少样本和零样本能力。

📝 摘要（中文）

深度学习（如Transformer）在多变量时间序列预测（MTSF）中得到了广泛应用。与现有方法不同，基于大型语言模型（LLMs）的MTSF方法通过跨模态文本和时间序列输入展现出优越性。然而，当前LLM-based MTSF方法通常忽视文本和时间序列输入之间的分布差异，导致性能不佳。为了解决这一问题，本文提出了一种新颖的跨模态LLM微调（CALF）框架，通过减少文本和时间序列数据之间的分布差异，显著提升了长短期预测任务的性能，并展现出良好的少样本和零样本能力。

🔬 方法详解

问题定义：本文旨在解决LLM在时间序列预测中因文本与时间序列输入之间的分布差异而导致的性能不足问题。现有方法主要集中于模型的适应与微调，未能有效处理这一分布差异。

核心思路：CALF框架通过建立一个跨模态匹配模块，首先对跨模态输入分布进行对齐，进而通过特征正则化损失和输出一致性损失来最小化模态分布间的差距，以实现更优的预测性能。

技术框架：CALF框架主要由两个分支组成：时间目标分支处理时间序列输入，文本源分支处理对齐的文本输入。通过跨模态匹配模块对输入分布进行对齐，并通过损失函数优化特征和输出的一致性。

关键创新：CALF的核心创新在于引入跨模态匹配模块和特征正则化损失，显著减少了文本和时间序列数据之间的分布差异，这与现有方法的单一模态训练形成了鲜明对比。

关键设计：在损失函数设计上，特征正则化损失用于对齐两个分支的中间特征，输出一致性损失则确保两个分支的输出表示能够有效对应。整体架构设计上，CALF框架保持了较低的计算复杂度，适合实际应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CALF框架在长短期预测任务上实现了最先进的性能，相较于基线方法，预测准确率提升了显著幅度，且在少样本和零样本学习场景下表现出色，验证了其优越性和实用性。

🎯 应用场景

该研究的潜在应用场景包括金融市场预测、气象数据分析和智能制造等领域。通过提高时间序列预测的准确性，CALF框架能够为决策支持系统提供更可靠的预测结果，进而提升各行业的运营效率和决策质量。未来，该方法有望在更多实际应用中展现其价值。

📄 摘要（原文）

Deep learning (e.g., Transformer) has been widely and successfully used in multivariate time series forecasting (MTSF). Unlike existing methods that focus on training models from a single modal of time series input, large language models (LLMs) based MTSF methods with cross-modal text and time series input have recently shown great superiority, especially with limited temporal data. However, current LLM-based MTSF methods usually focus on adapting and fine-tuning LLMs, while neglecting the distribution discrepancy between textual and temporal input tokens, thus leading to sub-optimal performance. To address this issue, we propose a novel Cross-Modal LLM Fine-Tuning (CALF) framework for MTSF by reducing the distribution discrepancy between textual and temporal data, which mainly consists of the temporal target branch with temporal input and the textual source branch with aligned textual input. To reduce the distribution discrepancy, we develop the cross-modal match module to first align cross-modal input distributions. Additionally, to minimize the modality distribution gap in both feature and output spaces, feature regularization loss is developed to align the intermediate features between the two branches for better weight updates, while output consistency loss is introduced to allow the output representations of both branches to correspond effectively. Thanks to the modality alignment, CALF establishes state-of-the-art performance for both long-term and short-term forecasting tasks with low computational complexity, and exhibiting favorable few-shot and zero-shot abilities similar to that in LLMs. Code is available at https://github.com/Hank0626/LLaTA.