IMRouter: Imbalance-aware Temporal Pattern Routing for LLM-based Time Series Forecasting

📄 arXiv: 2610.39246v1 📥 PDF

作者: Xin Yang, Cai Xu, Haishun Chen, Ying Liu, Jie Zhao, Wei Zhao, Ziyu Guan

分类: cs.LG

发布日期: 2026-10-29

💡 一句话要点

提出IMRouter以解决时间序列预测中的模式不平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 模式不平衡 大语言模型 时间表示学习 跨模态对齐 专家模型 互信息最大化

📋 核心要点

  1. 现有的LLM基础时间序列预测方法主要优化整体预测目标，忽视了时间模式不平衡问题，导致预测精度下降。
  2. IMRouter通过模式自适应时间表示学习和路由引导的语义对齐，专注于减轻时间模式不平衡带来的偏差。
  3. 实验结果显示，IMRouter在多个基准数据集上显著提高了对较少出现时间模式的预测性能，验证了其有效性。

📝 摘要（中文）

准确的时间序列预测在网络应用中至关重要，如流量监测和在线资源管理。近年来，利用预训练的大型语言模型（LLMs）进行时间序列预测的研究取得了良好效果。然而，现有方法往往忽视了时间模式不平衡（TPI）问题，即不同时间模式的出现频率差异较大。我们的实证分析表明，TPI在广泛使用的时间序列预测基准中普遍存在，导致较少出现的模式预测误差显著更高。为了解决这一问题，我们提出了IMRouter（不平衡感知时间模式路由），该框架在时间表示学习和跨模态对齐中减轻了TPI引起的偏差。IMRouter引入了模式自适应时间表示学习（PATR），通过梯度冲突和局部梯度密度引导专家专业化，并通过密度感知加权惩罚不兼容的专家分配，从而减少频繁优化信号在路由器训练中的主导地位。此外，路由引导的语义对齐（RGSA）通过互信息最大化将路由器学习到的模式特定知识转移到跨模态对齐中，保留不同模式间的独特时间信息。大量实验表明，IMRouter在改善较少出现的时间模式的预测性能方面尤其有效。

🔬 方法详解

问题定义：本论文旨在解决时间序列预测中的时间模式不平衡（TPI）问题。现有方法往往优化整体预测目标，导致对频率较低的时间模式预测误差显著增加。

核心思路：IMRouter通过引入模式自适应时间表示学习（PATR）和路由引导的语义对齐（RGSA），旨在减轻TPI引起的偏差，提升对不同频率模式的预测能力。

技术框架：IMRouter的整体架构包括两个主要模块：PATR用于时间表示学习，RGSA用于跨模态对齐。PATR通过引导专家模型的专业化来优化时间表示，而RGSA则通过最大化互信息来保留模式特定知识。

关键创新：IMRouter的核心创新在于引入密度感知加权机制，减少频繁模式对模型训练的主导影响，从而提升对不平衡模式的预测能力。这一设计与传统方法的优化目标不同，强调了对不同模式的平衡关注。

关键设计：在PATR中，采用了梯度冲突和局部梯度密度的结合来引导专家模型的训练。此外，RGSA通过互信息最大化实现模式特定知识的有效转移，确保不同时间模式的信息得以保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准数据集上的实验结果表明，IMRouter在对低频时间模式的预测性能上显著优于现有方法，尤其是在某些情况下，预测误差降低了20%以上，验证了其有效性和实用性。

🎯 应用场景

IMRouter的研究成果在多个领域具有潜在应用价值，特别是在需要精确时间序列预测的场景中，如金融市场分析、气象预测和智能交通系统等。通过改善对低频模式的预测能力，IMRouter能够为决策提供更可靠的数据支持，提升系统的整体性能。

📄 摘要（原文）

Accurate time series forecasting (TSF) is essential for Web applications, such as traffic monitoring and online resource management. Recent advances in leveraging pre-trained large language models (LLMs) have shown promising performance in TSF. However, existing LLM-based TSF methods largely optimize the overall forecasting objective while overlooking temporal pattern imbalance (TPI), where different temporal patterns occur at highly unequal frequencies. Our empirical analysis reveals that TPI is prevalent across widely used TSF benchmarks, with substantially higher forecasting errors on less frequent patterns. To address this issue, we propose IMRouter (Imbalance-aware Temporal Pattern Routing), a novel framework that mitigates TPI-induced biases in both temporal representation learning and cross-modal alignment. Specifically, IMRouter introduces Pattern-Adaptive Temporal Representation Learning (PATR), which leverages gradient conflict and local gradient density to guide expert specialization. By penalizing incompatible expert assignments with density-aware weighting, PATR reduces the dominance of frequent optimization signals in router training. Furthermore, Routing-Guided Semantic Alignment (RGSA) transfers the pattern-specific knowledge learned by the router to cross-modal alignment through mutual information maximization, preserving distinctive temporal information across different patterns. Extensive experiments on benchmark datasets demonstrate the effectiveness of IMRouter, particularly in improving forecasting performance on less frequent temporal patterns.