FISGuard: Defending Against Membership Inference via Fixed Input Subspaces

📄 arXiv: 2608.27836v1 📥 PDF

作者: Haocheng Jiang, Hua Shen

分类: cs.CR, cs.AI, cs.DC

发布日期: 2026-08-28

💡 一句话要点

提出FISGuard以解决成员推断攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推断攻击 隐私保护 联邦学习 低维表示 梯度共享 模型微调 数据安全

📋 核心要点

  1. 现有防御方法主要依赖梯度扰动或正则化，无法有效抵御基于几何结构的成员推断攻击，且可能降低模型性能。
  2. FISGuard通过构建和固定低维表示子空间，限制私有表示的暴露空间，从而减少成员与非成员之间的投影残差差异。
  3. 实验表明，FISGuard在大多数设置中将ProjRes攻击的AUC降低至接近0.5，同时保持下游任务性能和有限的计算开销。

📝 摘要（中文）

随着大型语言模型在联邦学习中的广泛应用，保护用户隐私并在分布式私有数据上进行参数高效的微调成为一项重要挑战。尽管客户端仅共享梯度而非直接上传原始数据，但共享的梯度仍可能泄露训练样本的成员信息。现有的防御方法主要依赖于梯度扰动或正则化，这不仅可能降低模型效用，还无法有效防御基于几何结构的成员推断攻击。为此，本文提出FISGuard，一种轻量级防御机制，通过构建和固定低维表示子空间，限制私有表示通过梯度暴露的空间，同时保留下游任务所需的主要信息。实验结果表明，FISGuard在大多数设置中将ProjRes攻击的AUC降低到接近随机猜测水平，同时保持下游任务性能接近未防御模型，仅引入有限的计算开销，从而实现良好的隐私与效用权衡。

🔬 方法详解

问题定义：本文旨在解决在联邦学习中，用户隐私受到成员推断攻击威胁的问题。现有方法在防御此类攻击时，往往无法有效保护模型性能，且存在信息泄露风险。

核心思路：FISGuard的核心思路是通过构建和固定一个低维表示子空间，利用独立的公共数据来限制私有表示的暴露，从而减少成员与非成员之间的投影残差差异，保护用户隐私。

技术框架：FISGuard的整体架构包括数据预处理、低维子空间构建、梯度共享和防御机制四个主要模块。首先，使用公共数据构建低维子空间，然后在微调过程中限制私有数据的表示在该子空间内。

关键创新：FISGuard的创新点在于通过固定的低维表示子空间来有效减少成员与非成员之间的投影残差差异，这一方法与现有依赖梯度扰动的防御机制本质上不同。

关键设计：在设计上，FISGuard使用独立公共数据构建低维子空间，并在微调过程中保持该子空间的固定性，以确保私有数据的表示不会过度暴露，同时优化了计算效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，FISGuard在大多数设置中将ProjRes攻击的AUC降低至接近随机猜测水平0.5，同时保持下游任务性能接近未防御模型，计算开销仅有限增加，展现出良好的隐私与效用权衡。

🎯 应用场景

FISGuard的研究成果具有广泛的应用潜力，尤其是在需要保护用户隐私的场景中，如医疗数据分析、金融数据处理和社交网络等领域。通过有效防御成员推断攻击，FISGuard能够提升用户对数据共享的信任，促进更广泛的联邦学习应用。未来，该方法还可以扩展到其他类型的模型和任务中，进一步增强隐私保护能力。

📄 摘要（原文）

As large language models are increasingly adopted in federated learning, protecting user privacy while performing parameter-efficient fine-tuning on distributed private data has become an important challenge. Although clients only share gradients instead of directly uploading raw data, the shared gradients may still leak membership information about training samples. ProjRes (S&P, 2026) further increases this risk: with less information and without accessing model outputs, an attacker can effectively distinguish members from non-members solely based on the projection residual between a candidate representation and the subspace induced by server-observable gradients. Existing defenses against membership inference mostly rely on gradient perturbation or regularization, which can not only degrade model utility but also fail to effectively defend against the membership inference attack introduced by ProjRes, which exploits the geometric structure of gradients. To address this issue, we propose FISGuard, a lightweight defense. Its key idea is to construct and fix a low-dimensional representation subspace using independent public data, thereby restricting the space through which private representations are exposed via gradients while preserving the primary information required for downstream tasks. This substantially reduces the projection-residual discrepancy between members and non-members. We evaluate FISGuard against five representative defense methods across three NLP datasets, two LLMs, and two fine-tuning strategies, Adapter and LoRA. The results show that FISGuard reduces the ProjRes attack AUC to near the random-guessing level of 0.5 in most settings, while maintaining downstream task performance close to that of the undefended model and introducing only limited computational overhead, thereby achieving a favorable privacy--utility trade-off.