FM-LLM: A frequency-enhanced mixture-of-experts framework for adapting LLMs to time series forecasting

📄 arXiv: 2608.11623v1 📥 PDF

作者: Rentao Gu, Yihang Ding, Junjie Li, Yi Ding, Weijing Sang, Xiaoli Huo, Xin Qin, Yuefeng Ji

分类: cs.LG, cs.AI, cs.NI, eess.SP

发布日期: 2026-08-12

期刊: R. Gu, Y. Ding, J. Li, Y. Ding, W. Sang, X. Huo, X. Qin, and Y. Ji, Knowl.-Based Syst., vol.341, p.115776, 2026

DOI: 10.1016/j.knosys.2026.115776

💡 一句话要点

提出FM-LLM框架以解决时间序列预测中的LLM适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 大型语言模型 傅里叶分析 专家混合模型 频谱信息 自回归模型 模型适应性

📋 核心要点

  1. 现有方法在时间序列预测中依赖文本提示进行模态对齐，导致计算开销大且未能充分利用频谱动态。
  2. FM-LLM通过傅里叶分析网络直接将频谱信息注入冷冻LLM，采用非对称专家混合解码器实现角色分离。
  3. 在11个基准测试中，FM-LLM在59个指标上达到最佳性能，MSE和MAE分别提升5.3%和5.6%。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的进展促进了时间序列预测的跨模态解决方案。然而，现有方法过于依赖文本提示进行模态对齐，导致计算开销大且未能充分利用时间序列数据中的丰富频谱动态。为实现无提示、频率感知的冷冻LLM适应，本文提出了FM-LLM（频率增强的专家混合框架），该框架基于约束的非对称耦合。通过傅里叶分析网络（FAN）构建的频谱标记对齐器，将结构化的谐波表示直接注入冷冻LLM。非对称的专家混合解码器实现角色分离，轻量级FAN层重建全球周期性骨架，而标准前馈网络（FFN）则专注于建模非周期性残差动态。时间-频率混合损失函数共同优化时间精度和频谱一致性，减轻长时间自回归展开中的误差积累。在11个公共基准测试中的评估结果显示，FM-LLM在78个评估指标中取得了59项的最佳性能，相较于最强的自回归LLM基线，其均方误差（MSE）和平均绝对误差（MAE）平均提升分别为5.3%和5.6%。

🔬 方法详解

问题定义：本文旨在解决现有时间序列预测方法对文本提示的依赖，导致计算效率低下和频谱信息利用不足的问题。

核心思路：FM-LLM通过引入傅里叶分析网络，直接将频谱信息注入冷冻的LLM，避免了传统方法的提示依赖，提升了模型的适应性和效率。

技术框架：FM-LLM的整体架构包括傅里叶分析网络作为频谱标记对齐器和非对称的专家混合解码器。前者负责将频谱信息注入LLM，后者则通过角色分离来处理周期性和非周期性动态。

关键创新：FM-LLM的主要创新在于其非对称专家混合解码器设计，允许共享专家和专用专家在同一框架内协同工作，显著提升了模型的表现。

关键设计：采用时间-频率混合损失函数来优化时间精度和频谱一致性，此外，轻量级FAN层和标准FFN的结合使得模型在处理不同动态时更加高效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FM-LLM在11个公共基准测试中表现优异，59个评估指标中达到最佳性能。与最强的自回归LLM基线相比，FM-LLM在均方误差（MSE）上平均提升5.3%，在平均绝对误差（MAE）上提升5.6%，最大提升分别达到8.0%和8.4%。

🎯 应用场景

FM-LLM在时间序列预测领域具有广泛的应用潜力，尤其是在金融市场预测、气象数据分析和工业过程监控等场景中。其高效的频谱信息利用和无提示适应能力，能够显著提升预测精度，降低计算成本，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have spurred cross-modal solutions for time-series forecasting. However, existing methods rely heavily on textual prompts for modality alignment-introducing nontrivial computational overhead and failing to leverage the rich spectral dynamics inherent in time-series data. To enable prompt-free, frequency-aware adaptation of frozen LLMs, we propose FM-LLM (Frequency-Enhanced Mixture-of-Experts for adapting LLMs to Time Series Forecasting), an autoregressive framework grounded in constrained asymmetric coupling. A Fourier Analysis Network (FAN)-based spectral token aligner injects structured harmonic representations directly into the frozen LLM with numerical compatibility. An asymmetric Mixture-of-Experts (MoE) decoder enforces role separation: shared experts with lightweight FAN layers reconstruct the global periodic backbone, while routed experts-restricted to standard FFNs-specialize in modeling non-periodic residual dynamics. A time-frequency hybrid loss function jointly optimizes temporal accuracy and spectral consistency, mitigating error accumulation during long-horizon autoregressive rollouts. Evaluated across eleven public benchmarks, FM-LLM achieves state-of-the-art performance on 59 out of 78 evaluation metrics. Compared to the strongest autoregressive LLM-based baseline, it delivers average improvements of 5.3% in MSE and 5.6% in MAE, with maximum gains reaching 8.0% for MSE and 8.4% for MAE. FM-LLM also demonstrates robust transferability, maintaining superior performance in 10% few-shot and zero-shot forecasting scenarios.