HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption

📄 arXiv: 2403.14111v1 📥 PDF

作者: Seewoo Lee, Garam Lee, Jung Woo Kim, Junbum Shin, Mun-Kyu Lee

分类: cs.CR, cs.LG

发布日期: 2024-03-21

备注: ICML 2023, Appendix D includes some updates after official publication

期刊: PMLR 202:19010-19035, 2023

💡 一句话要点

提出HETAL以解决隐私保护下的迁移学习问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 同态加密 迁移学习 隐私保护 加密训练 机器学习服务 高效算法 数据安全

📋 核心要点

  1. 现有迁移学习方法在数据隐私保护方面存在不足，主要集中于加密推理，未能有效解决训练过程中的隐私问题。
  2. HETAL通过CKKS同态加密方案实现加密训练，采用基于验证的早停策略，确保训练过程中的数据隐私。
  3. 实验结果表明，HETAL在多个基准数据集上训练时间显著低于一小时，且准确性与非加密训练相当，展现出良好的实用性。

📝 摘要（中文）

迁移学习是解决数据稀缺问题的有效方法，通过在大数据集上预训练的模型上添加和微调新的分类层来实现。然而，现有研究多集中于加密推理，未能有效解决迁移学习中的数据隐私问题。本文提出HETAL，一种基于同态加密的高效迁移学习算法，通过CKKS同态加密方案保护客户端的隐私。HETAL是首个严格提供加密训练的实用方案，采用基于验证的早停策略，且在准确性上与非加密训练相当。我们还提出了一种高效的加密矩阵乘法算法，其速度比之前的方法快1.8到323倍，并且开发了一种覆盖率更高的高精度softmax近似算法。实验结果显示，在五个知名基准数据集上的总训练时间为567-3442秒，均低于一小时。

🔬 方法详解

问题定义：本文旨在解决迁移学习中数据隐私保护不足的问题，现有方法多集中于加密推理，未能有效保护训练数据的隐私。

核心思路：HETAL通过CKKS同态加密方案实现加密训练，采用基于验证的早停策略，确保在保护隐私的同时保持模型的训练效果。

技术框架：HETAL的整体架构包括数据加密模块、加密训练模块和验证模块。数据加密模块负责将客户端数据加密，训练模块在加密数据上进行模型训练，验证模块用于监控训练过程并实现早停。

关键创新：HETAL是首个提供严格加密训练的迁移学习方案，显著提升了加密矩阵乘法的效率，速度比现有方法快1.8到323倍。

关键设计：在设计中，HETAL采用了高效的加密矩阵乘法算法和高精度的softmax近似算法，确保在加密环境下的计算效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HETAL在五个知名基准数据集上的实验结果显示，总训练时间为567-3442秒，均低于一小时，且在准确性上与非加密训练相当。此外，提出的加密矩阵乘法算法速度比现有方法快1.8到323倍，展现出显著的性能提升。

🎯 应用场景

HETAL的研究成果在多个领域具有广泛的应用潜力，尤其是在医疗、金融和个人数据处理等需要保护用户隐私的场景中。通过实现高效的加密训练，HETAL能够在不泄露用户数据的情况下，提供高质量的机器学习服务，推动隐私保护技术的发展。

📄 摘要（原文）

Transfer learning is a de facto standard method for efficiently training machine learning models for data-scarce problems by adding and fine-tuning new classification layers to a model pre-trained on large datasets. Although numerous previous studies proposed to use homomorphic encryption to resolve the data privacy issue in transfer learning in the machine learning as a service setting, most of them only focused on encrypted inference. In this study, we present HETAL, an efficient Homomorphic Encryption based Transfer Learning algorithm, that protects the client's privacy in training tasks by encrypting the client data using the CKKS homomorphic encryption scheme. HETAL is the first practical scheme that strictly provides encrypted training, adopting validation-based early stopping and achieving the accuracy of nonencrypted training. We propose an efficient encrypted matrix multiplication algorithm, which is 1.8 to 323 times faster than prior methods, and a highly precise softmax approximation algorithm with increased coverage. The experimental results for five well-known benchmark datasets show total training times of 567-3442 seconds, which is less than an hour.