Federated Class-Incremental Learning with New-Class Augmented Self-Distillation

📄 arXiv: 2401.00622v3 📥 PDF

作者: Zhiyuan Wu, Tianliu He, Sheng Sun, Yuwei Wang, Min Liu, Bo Gao, Xuefeng Jiang

分类: cs.LG

发布日期: 2024-01-01 (更新: 2024-04-17)

备注: 9 pages, 2 figures, 4 tables

💡 一句话要点

提出FedCLASS，通过新类增强的自蒸馏解决联邦类增量学习中的灾难性遗忘问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 类增量学习 灾难性遗忘 知识蒸馏 自蒸馏 新类增强 模型聚合

📋 核心要点

  1. 联邦学习在类增量场景下易发生灾难性遗忘，即模型学习新类别时会丢失旧类别的知识。
  2. FedCLASS通过新类增强的自蒸馏，将历史模型的知识更充分、更精确地迁移到当前模型。
  3. 实验表明，FedCLASS在降低平均遗忘率和提高全局准确率方面优于现有方法。

📝 摘要（中文）

联邦学习(FL)能够在保证原始数据隐私的同时，实现参与者之间的协作模型训练。主流的FL方法忽略了现实世界数据的动态特性，特别是数据量随时间增长和类别多样化的趋势。这种疏忽导致FL方法遭受灾难性遗忘，即训练后的模型在吸收新数据时会无意中丢弃先前学习的信息。为了应对这一挑战，我们提出了一种新的联邦类增量学习(FCIL)方法，名为FedCLASS。FedCLASS的核心是利用当前模型预测的新类分数来丰富历史模型的类分数，并利用组合知识进行自蒸馏，从而实现从历史模型到当前模型更充分和精确的知识转移。理论分析表明，FedCLASS具有可靠的基础，将历史模型预测的旧类分数视为在没有新类的情况下的条件概率，并将当前模型预测的新类分数视为从历史模型导出的类分数的条件概率。实验结果表明，FedCLASS在降低平均遗忘率和提高全局准确率方面优于四种基线算法。

🔬 方法详解

问题定义：联邦类增量学习(FCIL)旨在解决联邦学习环境中，数据类别随时间动态增加时，模型训练过程中出现的灾难性遗忘问题。现有联邦学习方法通常假设数据分布是静态的，无法有效处理新类别的引入，导致模型在学习新知识时忘记旧知识。

核心思路：FedCLASS的核心思路是通过自蒸馏的方式，将历史模型的知识迁移到当前模型，同时利用当前模型对新类别的预测来增强历史模型的类分数。这样可以更充分地利用历史信息，并避免模型过度关注新类别而忽略旧类别。

技术框架：FedCLASS的整体框架包括以下几个主要步骤：1) 本地客户端使用当前数据训练模型；2) 客户端将模型参数上传到服务器；3) 服务器聚合客户端模型，得到全局模型；4) 服务器使用全局模型对历史模型进行知识蒸馏，并将蒸馏后的模型发送给客户端。其中，知识蒸馏过程利用了新类增强的自蒸馏方法。

关键创新：FedCLASS的关键创新在于新类增强的自蒸馏方法。该方法利用当前模型预测的新类分数来丰富历史模型的类分数，从而使历史模型包含新类别的知识。在自蒸馏过程中，模型不仅学习历史模型的知识，还学习新类别的知识，从而有效缓解灾难性遗忘。

关键设计：FedCLASS的关键设计包括：1) 使用交叉熵损失函数训练本地模型；2) 使用KL散度损失函数进行知识蒸馏；3) 使用加权平均的方式融合历史模型和当前模型的类分数，权重参数需要根据实验进行调整。

📊 实验亮点

实验结果表明，FedCLASS在联邦类增量学习任务上显著优于现有基线方法。具体来说，FedCLASS在降低平均遗忘率方面取得了显著提升，并且在全局准确率方面也优于其他方法。这些结果验证了FedCLASS在新类增强的自蒸馏方面的有效性。

🎯 应用场景

FedCLASS可应用于各种需要联邦学习和数据类别动态增长的场景，例如：医疗诊断、金融风控、智能推荐等。在这些场景中，数据分布随时间变化，新类别不断涌现，FedCLASS可以帮助模型持续学习新知识，并保持对旧知识的记忆，从而提高模型的整体性能和泛化能力。

📄 摘要（原文）

Federated Learning (FL) enables collaborative model training among participants while guaranteeing the privacy of raw data. Mainstream FL methodologies overlook the dynamic nature of real-world data, particularly its tendency to grow in volume and diversify in classes over time. This oversight results in FL methods suffering from catastrophic forgetting, where the trained models inadvertently discard previously learned information upon assimilating new data. In response to this challenge, we propose a novel Federated Class-Incremental Learning (FCIL) method, named \underline{Fed}erated \underline{C}lass-Incremental \underline{L}earning with New-Class \underline{A}ugmented \underline{S}elf-Di\underline{S}tillation (FedCLASS). The core of FedCLASS is to enrich the class scores of historical models with new class scores predicted by current models and utilize the combined knowledge for self-distillation, enabling a more sufficient and precise knowledge transfer from historical models to current models. Theoretical analyses demonstrate that FedCLASS stands on reliable foundations, considering scores of old classes predicted by historical models as conditional probabilities in the absence of new classes, and the scores of new classes predicted by current models as the conditional probabilities of class scores derived from historical models. Empirical experiments demonstrate the superiority of FedCLASS over four baseline algorithms in reducing average forgetting rate and boosting global accuracy.