Personalized Federated Sparse Adaptation of Time-Series Foundation Models

📄 arXiv: 2608.04695v1 📥 PDF

作者: Priyanka Nihalchandani, Naman Srivastava, Varun Ojha, Pandarasamy Arjunan

分类: cs.LG, cs.AI, stat.ML

发布日期: 2026-08-05

备注: 15 pages

💡 一句话要点

提出个性化联邦稀疏适应框架以解决时间序列模型适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 时间序列预测 个性化适应 混合专家 建筑能耗

📋 核心要点

  1. 现有的联邦学习方法难以同时满足建筑特定的时间行为和跨建筑的迁移能力，导致适应效果不佳。
  2. 本文提出了一种个性化的联邦稀疏适应框架，利用异构的时间混合专家适配器来增强模型的适应性。
  3. 在50栋建筑的实验中，个性化方法在性能上始终优于传统的全球和本地适应方法，显示出显著的提升。

📝 摘要（中文）

时间序列基础模型（TSFMs）的联邦适应在建筑能耗预测中具有吸引力，因为计量数据是私有的、分布式的且高度非独立同分布（non-IID）。然而，单一的参数共享策略难以满足所有预训练TSFMs或建筑客户端的需求：完全共享的适配器可能抑制建筑特定的时间行为，而完全本地适应则会丢失跨建筑的迁移能力。为此，本文提出了一种个性化的联邦稀疏适应框架，采用异构的时间混合专家（MoE）适配器，放置在预训练的TSFM表示之后。通过序列级路由器，将每个168小时的上下文窗口映射到专门针对周期性、长程交互、本地变化、趋势残差结构和多分辨率行为的前k个专家。实验表明，个性化方法在50栋建筑和三种TSFM基础模型上均优于全球FL-MoE和本地MoE，而最佳的稀疏适应策略因基础模型和指标而异。

🔬 方法详解

问题定义：本文旨在解决时间序列基础模型在建筑能耗预测中的适应性问题。现有方法的痛点在于单一的参数共享策略无法兼顾建筑特定的时间行为与跨建筑的迁移能力。

核心思路：提出个性化的联邦稀疏适应框架，利用异构的时间混合专家（MoE）适配器，能够根据不同建筑的特性进行灵活适应，从而提升模型的预测性能。

技术框架：整体架构包括预训练的TSFM表示、异构MoE适配器和序列级路由器。路由器负责将每个168小时的上下文窗口映射到最适合的专家子集，以处理不同的时间特征。

关键创新：最重要的技术创新在于引入了个性化的稀疏适应机制和异构MoE适配器，使得模型能够在保持建筑特定行为的同时，利用跨建筑的知识进行学习。

关键设计：在设计中，采用了序列级路由器来选择专家，并设置了针对不同时间特征的专家银行，确保模型在不同建筑间的适应性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，个性化方法在50栋建筑上均优于全球FL-MoE和本地MoE，具体性能提升幅度因基础模型和评估指标而异，表明个性化适应策略的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括建筑能耗预测、智能建筑管理和能源优化等。通过个性化的模型适应，能够更准确地预测建筑能耗，进而实现节能减排的目标，具有重要的实际价值和社会影响。

📄 摘要（原文）

Federated adaptation of time-series foundation models (TSFMs) is attractive for building energy forecasting because meter data are private, distributed, and highly non-IID. However, a single parameter-sharing strategy is unlikely to serve all pretrained TSFMs or building clients: fully shared adapters can suppress building-specific temporal behavior, while fully local adaptation discards cross-building transfer. We propose a personalized federated sparse adaptation framework with a heterogeneous temporal mixture-of-experts (MoE) adapter placed after the pretrained TSFM representation. A sequence-level router maps each 168-hour context window to a top-$k$ subset of experts specialized for periodicity, long-range interactions, local variation, trend-residual structure, and multi-resolution behavior. We compare global FL, local training, and personalized FL variants with globally shared or client-private expert banks. Across 50 buildings and three TSFM backbones, personalization consistently outperforms Global FL-MoE and Local MoE, while the best sparse-adaptation strategy varies by backbone and metric. Routing behavior further reveals client-level expert specialization, expert concentration, and near-uniform routing across backbones, showing that federated TSFM adaptation should be both client-aware and backbone-aware.