FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs

📄 arXiv: 2608.18736v1 📥 PDF

作者: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

分类: cs.LG, cs.CR, cs.DC

发布日期: 2026-08-19

备注: 13 pages (main body), 36 pages (appendix), 3 figures, 98 tables

💡 一句话要点

提出FedLNS以解决联邦学习中的恶意更新问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 联邦学习 恶意更新 归一化签名 模型鲁棒性 自然语言处理

📋 核心要点

  1. 现有的联邦学习方法无法有效防止恶意客户端通过错误更新来破坏全局模型，导致生成不可靠的结果。
  2. FedLNS通过提取客户端更新的归一化层参数变化，构建了一种轻量级的恶意更新筛选机制，增强了模型的鲁棒性。
  3. 在200个客户端的实验中，FedLNS在40%目标操控下的测试困惑度优于六个基线方法，显示出显著的性能提升。

📝 摘要（中文）

联邦训练使语言模型能够从分布式私有文本中学习，但服务器无法直接验证每个客户端更新的本地监督或优化过程。恶意客户端可能会在损坏的目标上进行训练，导致错误的上下文-标记关联，从而通过重复聚合降低全局模型的性能。本文提出了联邦学习与归一化签名（FedLNS），这是一个轻量级的服务器端恶意更新筛选框架。FedLNS通过可训练的归一化层参数的变化来表示每个客户端的更新，并根据历史感知的跨客户端参考筛选可疑更新。实验表明，在40%的目标操控下，FedLNS在三种模型架构下的测试困惑度均优于六个基线方法。

🔬 方法详解

问题定义：本文旨在解决联邦学习中恶意客户端通过错误更新影响全局模型的问题。现有方法缺乏有效的机制来验证客户端更新的真实性，导致模型性能下降和生成结果的不可靠性。

核心思路：FedLNS的核心思路是利用归一化层参数的变化来表示客户端更新，通过服务器端的历史感知机制筛选可疑更新，从而提高模型的安全性和鲁棒性。

技术框架：FedLNS的整体架构包括客户端模型训练、服务器端更新筛选和最终模型聚合三个主要模块。客户端在本地进行训练后，将更新发送至服务器，服务器通过归一化签名进行筛选，保留可信的更新进行聚合。

关键创新：FedLNS的创新点在于引入了归一化签名的概念，使得服务器能够在不需要额外客户端数据或标签的情况下，轻松筛选恶意更新。这一机制与传统的联邦学习方法相比，显著提高了模型的安全性。

关键设计：FedLNS设计中关键的参数设置包括归一化层的可训练参数，损失函数采用标准的联邦学习损失，网络结构与现有的GPT、BERT和LLaMA模型保持一致，以确保兼容性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在200个客户端的实验中，FedLNS在40%目标操控下的测试困惑度显著低于六个基线方法，显示出在IID和非IID数据分布下的强大鲁棒性，证明了其在多种模型架构中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和任何需要保护数据隐私的机器学习场景。通过提高联邦学习的安全性，FedLNS能够在保护用户隐私的同时，提升模型的生成质量和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Federated training enables language models to learn from distributed private text, but the server cannot directly verify the local supervision or optimization process that produces each client update. A malicious client can therefore train on corrupted targets, introduce incorrect context-token associations, and degrade the global model through repeated aggregation. Such degradation can also increase the risk of unreliable or hallucinatory generation. We propose Federated Learning with Normalization Signatures (FedLNS), a server-side framework for lightweight malicious-update screening. FedLNS represents each client update through changes in trainable normalization-layer parameters and screens suspicious updates against a robust, history-aware cross-client reference. Because the signatures are extracted at the server from the returned local models, FedLNS requires no additional client-to-server parameter or metadata exchange compared to standard federated learning (FL) methods. After screening, the retained full-model updates can be aggregated using standard FL or another compatible aggregation rule. FedLNS requires no raw client data, trusted server dataset, labeled attack examples, or separately trained detector. Experiments on GPT-style, BERT-style, and LLaMA-style models trained from scratch with 200 clients show that, under 40% population-level target manipulation, FedLNS achieves lower test perplexity than the strongest of six baselines for all three architectures under both IID (independently and identically distributed) and non-IID data partitions.