xMLP: Revolutionizing Private Inference with Exclusive Square Activation

📄 arXiv: 2403.08024v1 📥 PDF

作者: Jiajie Li, Jinjun Xiong

分类: cs.LG, cs.CR

发布日期: 2024-03-12

💡 一句话要点

提出xMLP以解决私有推理中的激活函数效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 私有推理 深度学习 平方激活 多方计算 神经网络 隐私保护 模型优化

📋 核心要点

  1. 现有私有推理系统中，使用ReLU等非线性激活函数导致高延迟，影响性能。
  2. 本文提出xMLP架构，专门使用平方激活函数，克服了准确率下降的问题，保持与ReLU模型的性能平衡。
  3. 实验结果显示，xMLP在多个数据集上超越了ResNet模型，并在私有推理速度上提升了7倍。

📝 摘要（中文）

私有推理（PI）使深度神经网络（DNN）能够在不泄露敏感信息的情况下处理私有数据，但现有方法中使用的非线性激活函数如ReLU导致高延迟。本文提出xMLP，一种仅使用平方激活函数的新型DNN架构，旨在在保持准确率的同时提高效率。实验结果表明，xMLP在CIFAR-100和ImageNet数据集上表现优于ResNet模型，且在PI速度上提升显著，准确率提高0.58%。

🔬 方法详解

问题定义：本文旨在解决私有推理中使用非线性激活函数（如ReLU）导致的高延迟问题。现有方法在处理私有数据时，因需要复杂的多方计算而效率低下。

核心思路：论文提出xMLP架构，专注于使用平方激活函数，利用其在多方计算中的高效性，同时探讨了平方激活导致准确率下降的“信息复合”效应，并提出解决方案。

技术框架：xMLP的整体架构包括多个层次的平方激活函数，设计上减少了激活层的数量和参数，同时保持与ReLU模型相似的性能。

关键创新：xMLP的主要创新在于其独特的平方激活函数设计，显著提高了私有推理的速度和准确率，区别于传统使用ReLU的DNN架构。

关键设计：在网络结构上，xMLP优化了激活层的设置，采用了特定的损失函数以平衡准确率和效率，并通过实验验证了其在不同数据集上的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，xMLP在CIFAR-100和ImageNet数据集上相较于ResNet模型，准确率提高0.58%，并且在私有推理速度上提升了7倍。此外，xMLP在保持相同推理延迟的情况下，准确率提升达4.96%。在GPU上，xMLP的速度比之前的最先进模型快700倍，且准确率相当。

🎯 应用场景

该研究在私有推理领域具有广泛的应用潜力，尤其适用于需要保护用户隐私的场景，如医疗数据分析、金融交易和个性化推荐等。未来，xMLP可能推动更多隐私保护技术的发展，提升深度学习在敏感数据处理中的应用价值。

📄 摘要（原文）

Private Inference (PI) enables deep neural networks (DNNs) to work on private data without leaking sensitive information by exploiting cryptographic primitives such as multi-party computation (MPC) and homomorphic encryption (HE). However, the use of non-linear activations such as ReLU in DNNs can lead to impractically high PI latency in existing PI systems, as ReLU requires the use of costly MPC computations, such as Garbled Circuits. Since square activations can be processed by Beaver's triples hundreds of times faster compared to ReLU, they are more friendly to PI tasks, but using them leads to a notable drop in model accuracy. This paper starts by exploring the reason for such an accuracy drop after using square activations, and concludes that this is due to an "information compounding" effect. Leveraging this insight, we propose xMLP, a novel DNN architecture that uses square activations exclusively while maintaining parity in both accuracy and efficiency with ReLU-based DNNs. Our experiments on CIFAR-100 and ImageNet show that xMLP models consistently achieve better performance than ResNet models with fewer activation layers and parameters while maintaining consistent performance with its ReLU-based variants. Remarkably, when compared to state-of-the-art PI Models, xMLP demonstrates superior performance, achieving a 0.58% increase in accuracy with 7x faster PI speed. Moreover, it delivers a significant accuracy improvement of 4.96% while maintaining the same PI latency. When offloading PI to the GPU, xMLP is up to 700x faster than the previous state-of-the-art PI model with comparable accuracy.