Pencil: Private and Extensible Collaborative Learning without the Non-Colluding Assumption
作者: Xuanqi Liu, Zhuotao Liu, Qi Li, Ke Xu, Mingwei Xu
分类: cs.CR, cs.LG
发布日期: 2024-03-17
备注: Network and Distributed System Security Symposium (NDSS) 2024
期刊: Proceedings 2024 Network and Distributed System Security Symposium (2024)
💡 一句话要点
提出Pencil框架以解决协作学习中的数据与模型隐私问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 数据隐私 模型隐私 协作学习 密码学协议 安全多方计算 联邦学习 高效训练 智能算法
📋 核心要点
- 现有的协作学习方法在数据隐私和模型隐私方面存在显著不足，尤其是依赖非串通假设的MPC框架。
- Pencil框架通过构建基于高效双方协议的n方协作训练协议，确保在模型训练过程中切换数据提供者不会增加额外成本。
- 实验结果表明，Pencil在吞吐量上提升了10至260倍，通信量减少了两个数量级，同时在模型准确性和安全性上表现优异。
📝 摘要（中文）
随着数据隐私问题的日益严重，协作神经网络训练面临重大挑战。现有的联邦学习（FL）忽视了模型隐私，而同态加密（HE）在扩展性上受到限制。尽管现有的安全多方计算（MPC）框架提供了合理的吞吐量并确保了模型和数据隐私，但它们依赖于计算服务器之间的非串通假设。本文提出了Pencil，这是第一个在不依赖非串通假设的情况下，同时提供数据隐私、模型隐私和多数据提供者扩展性的私有训练框架。我们设计了一种基于高效双方协议的n方协作训练协议，并引入了多种新颖的密码学协议，经过严格的安全和隐私分析，评估结果显示Pencil在性能上显著优于现有方法。
🔬 方法详解
问题定义：本文旨在解决协作学习中数据隐私和模型隐私的挑战，现有方法如联邦学习和同态加密在这方面存在局限，尤其是依赖非串通假设的MPC框架。
核心思路：Pencil框架的核心思想是构建一个基于高效双方协议的n方协作训练协议，确保在模型训练过程中切换数据提供者不会引入额外的成本，从而实现数据和模型的隐私保护。
技术框架：Pencil的整体架构包括多个模块，首先是数据隐私保护模块，其次是模型训练模块，最后是安全性验证模块，各模块之间通过高效的密码学协议进行交互。
关键创新：Pencil的主要创新在于不依赖于非串通假设，首次实现了数据隐私、模型隐私和多数据提供者的扩展性，这与现有的MPC框架有本质区别。
关键设计：在设计中，Pencil采用了多种新颖的密码学协议，确保了在不同数据提供者之间的切换不会增加训练成本，同时在参数设置和网络结构上进行了优化，以提高训练效率和安全性。
🖼️ 关键图片
📊 实验亮点
Pencil的实验结果显示，使用明文训练的模型与使用Pencil私有训练的模型在测试准确率上几乎相同。此外，Pencil的训练吞吐量提升了10至260倍，通信量减少了两个数量级，展现出卓越的性能和安全性，能够抵御现有及自适应攻击。
🎯 应用场景
Pencil框架在医疗、金融和智能制造等领域具有广泛的应用潜力，能够在保护数据隐私的前提下，实现多方协作学习，推动智能算法的安全部署与应用。未来，Pencil可能成为协作学习的标准解决方案，促进跨机构的数据共享与合作。
📄 摘要（原文）
The escalating focus on data privacy poses significant challenges for collaborative neural network training, where data ownership and model training/deployment responsibilities reside with distinct entities. Our community has made substantial contributions to addressing this challenge, proposing various approaches such as federated learning (FL) and privacy-preserving machine learning based on cryptographic constructs like homomorphic encryption (HE) and secure multiparty computation (MPC). However, FL completely overlooks model privacy, and HE has limited extensibility (confined to only one data provider). While the state-of-the-art MPC frameworks provide reasonable throughput and simultaneously ensure model/data privacy, they rely on a critical non-colluding assumption on the computing servers, and relaxing this assumption is still an open problem. In this paper, we present Pencil, the first private training framework for collaborative learning that simultaneously offers data privacy, model privacy, and extensibility to multiple data providers, without relying on the non-colluding assumption. Our fundamental design principle is to construct the n-party collaborative training protocol based on an efficient two-party protocol, and meanwhile ensuring that switching to different data providers during model training introduces no extra cost. We introduce several novel cryptographic protocols to realize this design principle and conduct a rigorous security and privacy analysis. Our comprehensive evaluations of Pencil demonstrate that (i) models trained in plaintext and models trained privately using Pencil exhibit nearly identical test accuracies; (ii) The training overhead of Pencil is greatly reduced: Pencil achieves 10 ~ 260x higher throughput and 2 orders of magnitude less communication than prior art; (iii) Pencil is resilient against both existing and adaptive (white-box) attacks.