Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption

📄 arXiv: 2311.08610v1 📥 PDF

作者: Itamar Zimerman, Moran Baruch, Nir Drucker, Gilad Ezov, Omri Soceanu, Lior Wolf

分类: cs.LG, cs.CR

发布日期: 2023-11-15

备注: 6 figures

💡 一句话要点

提出多项式变换器以解决同态加密下的安全推理问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 同态加密 深度学习 变换器模型 多项式形式 安全推理 隐私保护 自然语言处理 图像分类

📋 核心要点

  1. 现有方法在将同态加密应用于变换器模型时面临挑战，尤其是在将模型转换为多项式形式方面。
  2. 论文提出了一种新的多项式变换器架构，并开发了一种将操作符转换为多项式等价形式的方法，以实现安全推理。
  3. 实验结果表明，所提出的模型在WikiText-103、CIFAR-100和Tiny-ImageNet上表现出与传统方法相当的性能，展示了HE的实际应用潜力。

📝 摘要（中文）

设计隐私保护的深度学习模型是深度学习领域的一大挑战。同态加密（HE）作为一种有前景的技术，能够解耦模型拥有者与数据拥有者之间的知识。然而，将HE应用于变换器模型面临困难，主要是因为将这些模型转换为多项式形式的挑战。本文首次提出了多项式变换器，展示了在HE下进行安全推理的可能性。我们设计了一种针对HE的变换器架构，并提出了一种将操作符转换为其多项式等价形式的新方法。我们的模型在WikiText-103上进行安全推理，并在CIFAR-100和Tiny-ImageNet上进行图像分类，结果与传统方法相当，展示了HE在先进应用中的可行性。

🔬 方法详解

问题定义：本文旨在解决将同态加密技术应用于变换器模型的困难，尤其是如何将这些模型转换为多项式形式，以实现安全推理。现有方法主要集中在卷积神经网络上，缺乏对变换器的有效支持。

核心思路：论文的核心思路是设计一种新的多项式变换器架构，并提出一种将操作符转换为多项式等价形式的方法。这种设计使得变换器能够在同态加密环境中有效运行，确保数据隐私。

技术框架：整体架构包括一个专为同态加密设计的变换器模型，主要模块包括输入嵌入、注意力机制和输出层。每个模块都经过调整，以适应多项式形式的计算需求。

关键创新：最重要的技术创新在于首次实现了多项式变换器，提供了在同态加密下进行安全推理的可能性。这与现有方法的本质区别在于，传统方法难以将变换器模型转换为适合HE的形式。

关键设计：在设计中，关键参数设置包括多项式的阶数和损失函数的选择，网络结构经过优化以确保在同态加密下的计算效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的多项式变换器在WikiText-103、CIFAR-100和Tiny-ImageNet上均取得了与传统方法相当的性能，证明了HE在先进应用中的可行性。这一成果为同态加密技术在深度学习中的应用提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括安全的自然语言处理和图像分类任务，尤其是在需要保护用户隐私的场景中。通过实现同态加密下的深度学习推理，能够在不泄露数据的情况下进行有效的模型推理，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Designing privacy-preserving deep learning models is a major challenge within the deep learning community. Homomorphic Encryption (HE) has emerged as one of the most promising approaches in this realm, enabling the decoupling of knowledge between the model owner and the data owner. Despite extensive research and application of this technology, primarily in convolutional neural networks, incorporating HE into transformer models has been challenging because of the difficulties in converting these models into a polynomial form. We break new ground by introducing the first polynomial transformer, providing the first demonstration of secure inference over HE with transformers. This includes a transformer architecture tailored for HE, alongside a novel method for converting operators to their polynomial equivalent. This innovation enables us to perform secure inference on LMs with WikiText-103. It also allows us to perform image classification with CIFAR-100 and Tiny-ImageNet. Our models yield results comparable to traditional methods, bridging the performance gap with transformers of similar scale and underscoring the viability of HE for state-of-the-art applications. Finally, we assess the stability of our models and conduct a series of ablations to quantify the contribution of each model component.