The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

📄 arXiv: 2606.16801v1 📥 PDF

作者: Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

分类: cs.CL

发布日期: 2026-06-15

备注: 19 pages, 5 figures

💡 一句话要点

提出MIXGUARD以解决隐私保护分割学习中的实用性与安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 分割学习 大型语言模型 混淆机制 数据重建攻击 自适应攻击 模型微调

📋 核心要点

  1. 现有隐私保护分割学习方法在效用、隐私保护、计算和通信开销等方面存在显著不足，面临较大挑战。
  2. MIXGUARD通过引入令牌级和表示级混淆以及自适应梯度扰动机制，旨在同时保持学习信号和保护隐私。
  3. 实验结果显示，MIXGUARD在多个任务上与非分割训练基线的模型效用相当，并在隐私保护方面优于现有方法。

📝 摘要（中文）

分割学习为资源受限用户训练大型语言模型（LLMs）提供了一种实用的范式，但现有隐私保护方法面临效用、隐私、安全性和稳定性之间的权衡。本文提出MIXGUARD，一个基于mixup的隐私保护分割学习框架，采用了令牌级混淆、表示级混淆和自适应梯度扰动机制，旨在保留有用的学习信号，同时防止隐私泄露。通过在多个LLM家族、模型规模和微调策略上进行广泛实验，结果表明MIXGUARD在保持模型效用方面与非分割训练基线相当，并在对抗先进数据重建攻击时提供了更强的隐私保护，且在自适应攻击设置下表现稳健。

🔬 方法详解

问题定义：本文旨在解决现有隐私保护分割学习方法在效用、隐私保护、计算和通信开销等方面的不足，尤其是面对数据重建攻击时的脆弱性。

核心思路：MIXGUARD的核心思路是通过引入多层次的混淆机制，既保留有用的学习信号，又有效防止隐私泄露。通过在公共数据集上构建轻量级校准模型，优化目标表示，从而在私有数据上进行隐私保护的微调。

技术框架：MIXGUARD的整体架构包括三个主要模块：令牌级混淆、表示级混淆和自适应梯度扰动。首先，使用公共数据集训练校准模型，然后在私有数据上进行微调，确保隐私保护的同时保持模型效用。

关键创新：MIXGUARD的创新点在于其多层次的混淆机制，尤其是结合了令牌级和表示级的混淆方法，与传统方法相比，能够更有效地防止隐私泄露。

关键设计：在参数设置上，MIXGUARD采用了自适应的梯度扰动策略，并在损失函数中引入了混淆项，以平衡隐私保护与模型效用之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MIXGUARD在四个分类任务和四个文本生成任务上，与非分割训练基线的模型效用相当，且在隐私保护方面优于现有的分割学习防御方法，尤其在面对先进的数据重建攻击时，表现出更强的防护能力，确保了模型在自适应攻击设置下的稳健性。

🎯 应用场景

MIXGUARD的研究成果在多个领域具有广泛的应用潜力，尤其是在需要保护用户隐私的场景，如医疗数据分析、金融服务和社交媒体内容生成等。通过有效的隐私保护机制，MIXGUARD能够促进用户数据的安全使用，同时保持模型的高效性和准确性，未来可能在隐私保护的AI应用中发挥重要作用。

📄 摘要（原文）

Split learning provides a practical paradigm for resource-constrained users to train Large Language Models (LLMs) by offloading computation-intensive layers to a server while keeping raw data local. However, existing privacy-preserving split learning methods still face a difficult trade-off among utility, privacy, efficiency, and stability. Specifically, these methods often suffer from substantial utility degradation, remain vulnerable to advanced data reconstruction attacks, incur prohibitive computational and communication overhead, or exhibit unstable performance across different tasks. In this paper, we propose MIXGUARD, a novel mixup-based privacy-preserving split learning framework for LLMs. MIXGUARD introduces token-level obfuscation, representation-level obfuscation, and adaptive gradient perturbation mechanisms, which operate jointly to preserve useful learning signals while preventing privacy leakage to the server. Technically, MIXGUARD first constructs a lightweight calibration model on a public dataset to refine the approximated target representation, and then applies this model during privacy-preserving fine-tuning on private data. We conduct extensive experiments on four classification tasks and four text generation tasks across multiple LLM families, model sizes, architectures, and fine-tuning strategies. The results show that MIXGUARD preserves model utility comparable to non-split training baselines, consistently achieves stronger privacy protection than existing split learning defense methods against state-of-the-art data reconstruction attacks, and remains robust under adaptive attack settings.