I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of Transformers using Fully Homomorphic Encryption

📄 arXiv: 2402.09059v1 📥 PDF

作者: Prajwal Panzade, Daniel Takabi, Zhipeng Cai

分类: cs.LG, cs.AI, cs.CR

发布日期: 2024-02-14

备注: Accepted for the presentation at PPAI @The 38th Annual AAAI Conference on Artificial Intelligence 2024

💡 一句话要点

提出BlindTuner以解决隐私保护下的Transformer微调问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 隐私保护 全同态加密 Transformer微调 机器学习 数据安全 图像分类 模型训练

📋 核心要点

  1. 现有方法在隐私保护下进行模型训练时面临数据共享的法律和用户信任障碍，限制了其应用。
  2. BlindTuner通过全同态加密技术实现了在加密数据上进行Transformer模型的微调，确保数据隐私。
  3. 实验结果表明，BlindTuner在准确性上与非加密模型相当，同时在速度上实现了1.5倍至600倍的显著提升。

📝 摘要（中文）

在当今的机器学习环境中，微调预训练的Transformer模型已成为一项重要技术，尤其是在任务相关训练数据有限的情况下。然而，当数据共享受到隐私法规或用户对个人信息泄露的担忧时，挑战随之而来。以往基于安全多方计算(SMC)和全同态加密(FHE)的隐私保护机器学习(PPML)研究主要集中在隐私保护推理上，而非训练。为此，我们提出了BlindTuner，一个隐私保护的微调系统，能够在全同态加密数据上进行Transformer训练，专注于图像分类。我们的广泛实验验证了BlindTuner的有效性，显示其准确性与非加密模型相当，且在速度上较以往工作提升了1.5倍至600倍。

🔬 方法详解

问题定义：本论文旨在解决在隐私保护环境下对Transformer模型进行微调的挑战，现有方法在数据共享方面存在法律和信任障碍，限制了其应用。

核心思路：论文提出BlindTuner，通过全同态加密技术实现对加密数据的Transformer微调，确保数据隐私的同时不影响模型性能。

技术框架：BlindTuner的整体架构包括数据加密模块、模型微调模块和解密模块，确保在整个过程中数据始终处于加密状态。

关键创新：BlindTuner的主要创新在于其能够在全同态加密数据上进行有效的模型训练，与以往主要关注推理的隐私保护方法有本质区别。

关键设计：在设计中，BlindTuner采用了特定的损失函数和网络结构，以适应加密数据的特性，并优化了训练过程中的计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BlindTuner的实验结果显示，其在准确性上与非加密模型相当，同时在速度上实现了1.5倍至600倍的显著提升，显著超越了以往的隐私保护训练方法，展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、金融数据处理和任何需要保护用户隐私的机器学习任务。通过在加密数据上进行模型训练，BlindTuner能够为企业和研究机构提供安全的解决方案，推动隐私保护机器学习的发展。

📄 摘要（原文）

In today's machine learning landscape, fine-tuning pretrained transformer models has emerged as an essential technique, particularly in scenarios where access to task-aligned training data is limited. However, challenges surface when data sharing encounters obstacles due to stringent privacy regulations or user apprehension regarding personal information disclosure. Earlier works based on secure multiparty computation (SMC) and fully homomorphic encryption (FHE) for privacy-preserving machine learning (PPML) focused more on privacy-preserving inference than privacy-preserving training. In response, we introduce BlindTuner, a privacy-preserving fine-tuning system that enables transformer training exclusively on homomorphically encrypted data for image classification. Our extensive experimentation validates BlindTuner's effectiveness by demonstrating comparable accuracy to non-encrypted models. Notably, our findings highlight a substantial speed enhancement of 1.5x to 600x over previous work in this domain.