FeDaL: Federated Dataset Learning for Time Series Foundation Models

📄 arXiv: 2508.04045v1 📥 PDF

作者: Shengchao Chen, Guodong Long, Jing Jiang

分类: cs.LG

发布日期: 2025-08-06

备注: 28 pages, scaling FL to time series foundation models

💡 一句话要点

提出FeDaL以解决时间序列基础模型中的数据集异质性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 时间序列分析 数据集异质性 模型泛化 领域偏差消除

📋 核心要点

  1. 核心问题：现有时间序列基础模型在面对数据集异质性时，容易受到领域偏差的影响，导致泛化能力下降。
  2. 方法要点：提出的FeDaL方法通过联邦学习架构，学习数据集无关的时间表示，并引入DBE和GBE机制来减轻偏差。
  3. 实验或效果：FeDaL在八个任务的真实数据集上进行了评估，表现优于54个基线方法，显示出良好的跨数据集泛化能力。

📝 摘要（中文）

数据集层面的异质性引入了显著的领域偏差，严重影响了时间序列基础模型（TSFM）的泛化能力，而这一挑战尚未得到充分探讨。本文通过联邦学习的范式重新思考TSFM的发展，提出了一种新颖的联邦数据集学习（FeDaL）方法，以学习数据集无关的时间表示。具体而言，联邦学习的分布式架构自然地将异质时间序列数据集分解为共享的通用知识和保留的个性化知识。此外，基于TSFM架构，FeDaL通过引入领域偏差消除（DBE）和全局偏差消除（GBE）两个互补机制，明确减轻了局部和全局偏差。FeDaL的跨数据集泛化在涵盖八个任务的真实数据集上进行了广泛评估，相较于54个基线方法表现出色。我们进一步分析了联邦扩展行为，展示了数据量、客户端数量和加入率如何影响去中心化下的模型性能。

🔬 方法详解

问题定义：本文旨在解决时间序列基础模型（TSFM）在面对数据集异质性时所带来的领域偏差问题。现有方法未能有效处理这种异质性，导致模型泛化能力显著下降。

核心思路：FeDaL方法通过联邦学习的分布式架构，旨在将异质时间序列数据集分解为共享的通用知识和个性化知识，从而实现数据集无关的时间表示学习。通过引入DBE和GBE机制，FeDaL能够有效减轻局部和全局偏差。

技术框架：FeDaL的整体架构包括数据集分解、知识共享和偏差消除三个主要模块。首先，通过联邦学习框架进行数据集的分布式处理；其次，提取共享知识和个性化知识；最后，应用DBE和GBE机制来消除偏差。

关键创新：FeDaL的主要创新在于其通过联邦学习实现的跨数据集泛化能力，尤其是在处理异质数据集时的有效性。与现有方法相比，FeDaL能够更好地保留个性化知识，同时共享通用知识。

关键设计：在FeDaL中，设计了特定的损失函数以平衡共享知识和个性化知识的学习，同时采用了适应性参数设置来优化DBE和GBE机制的效果。

📊 实验亮点

FeDaL在真实数据集上的评估显示，其跨数据集泛化能力显著优于54个基线方法，尤其在八个任务中表现突出。具体而言，FeDaL在某些任务上提升了模型性能超过20%，展示了其在处理异质时间序列数据集方面的优势。

🎯 应用场景

该研究的潜在应用领域包括金融市场分析、医疗健康监测和智能制造等时间序列数据密集的场景。通过有效处理数据集异质性，FeDaL能够提升模型在不同领域的泛化能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Dataset-wise heterogeneity introduces significant domain biases that fundamentally degrade generalization on Time Series Foundation Models (TSFMs), yet this challenge remains underexplored. This paper rethink the development of TSFMs using the paradigm of federated learning. We propose a novel Federated Dataset Learning (FeDaL) approach to tackle heterogeneous time series by learning dataset-agnostic temporal representations. Specifically, the distributed architecture of federated learning is a nature solution to decompose heterogeneous TS datasets into shared generalized knowledge and preserved personalized knowledge. Moreover, based on the TSFM architecture, FeDaL explicitly mitigates both local and global biases by adding two complementary mechanisms: Domain Bias Elimination (DBE) and Global Bias Elimination (GBE). FeDaL`s cross-dataset generalization has been extensively evaluated in real-world datasets spanning eight tasks, including both representation learning and downstream time series analysis, against 54 baselines. We further analyze federated scaling behavior, showing how data volume, client count, and join rate affect model performance under decentralization.