HEQuant: Marrying Homomorphic Encryption and Quantization for Communication-Efficient Private Inference

📄 arXiv: 2401.15970v2 📥 PDF

作者: Tianshi Xu, Meng Li, Runsheng Wang

分类: cs.CR, cs.AI

发布日期: 2024-01-29 (更新: 2024-01-31)

💡 一句话要点

提出HEQuant以解决同态加密下的通信效率问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 同态加密 量化优化 通信效率 神经网络 隐私保护 安全计算 边缘计算

📋 核心要点

  1. 现有基于同态加密的协议在神经网络操作中假设高精度，导致通信开销过大。
  2. HEQuant通过低精度量化感知优化，结合多种算法，旨在提高通信效率。
  3. 实验结果显示，HEQuant在通信和延迟方面相较于现有协议有显著提升，效果显著。

📝 摘要（中文）

同态加密（HE）在安全的双方计算中保护数据隐私，但面临高通信开销的问题。尽管已有一些基于HE的高效协议（如Cheetah、Iron等）针对不同神经网络操作进行了优化，但它们仍假设高精度（如37位定点）进行操作，忽视了神经网络对量化误差的固有鲁棒性。本文提出HEQuant，结合低精度量化优化，显著提高了通信效率。通过一系列优化措施，包括内部系数打包算法和量化感知切片算法，HEQuant在通信和延迟方面相较于现有协议（如CrypTFlow2、Cheetah、Iron等）实现了3.5至23.4倍的通信减少和3.0至9.3倍的延迟减少。

🔬 方法详解

问题定义：本文旨在解决基于同态加密的神经网络推理中的高通信开销问题。现有方法通常依赖于高精度计算，导致效率低下。

核心思路：HEQuant通过引入低精度量化感知优化，结合量化和同态加密的优势，旨在减少数据传输量和提高计算效率。

技术框架：HEQuant的整体架构包括数据预处理、量化感知优化、内部系数打包和量化感知切片等主要模块，形成一个高效的推理流程。

关键创新：HEQuant的核心创新在于其量化感知的优化策略，特别是内部系数打包算法和量化感知切片算法，这些创新显著提升了通信效率，与传统方法相比具有本质区别。

关键设计：在设计中，HEQuant采用了低精度量化策略，优化了数据传输格式，并通过调整参数设置和损失函数，确保在降低精度的同时保持推理性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HEQuant在通信效率上实现了3.5至23.4倍的减少，延迟方面则降低了3.0至9.3倍，显著优于现有的HE协议（如CrypTFlow2、Cheetah、Iron等）。同时，与网络优化框架（如SENet、SNL等）相比，HEQuant也实现了3.1至3.6倍的通信减少，展示了其卓越的性能。

🎯 应用场景

HEQuant的研究成果在安全计算、隐私保护和边缘计算等领域具有广泛的应用潜力。其高效的通信机制可以应用于需要保护用户数据隐私的场景，如金融、医疗和智能家居等，未来可能推动更多安全计算技术的发展。

📄 摘要（原文）

Secure two-party computation with homomorphic encryption (HE) protects data privacy with a formal security guarantee but suffers from high communication overhead. While previous works, e.g., Cheetah, Iron, etc, have proposed efficient HE-based protocols for different neural network (NN) operations, they still assume high precision, e.g., fixed point 37 bit, for the NN operations and ignore NNs' native robustness against quantization error. In this paper, we propose HEQuant, which features low-precision-quantization-aware optimization for the HE-based protocols. We observe the benefit of a naive combination of quantization and HE quickly saturates as bit precision goes down. Hence, to further improve communication efficiency, we propose a series of optimizations, including an intra-coefficient packing algorithm and a quantization-aware tiling algorithm, to simultaneously reduce the number and precision of the transferred data. Compared with prior-art HE-based protocols, e.g., CrypTFlow2, Cheetah, Iron, etc, HEQuant achieves $3.5\sim 23.4\times$ communication reduction and $3.0\sim 9.3\times$ latency reduction. Meanwhile, when compared with prior-art network optimization frameworks, e.g., SENet, SNL, etc, HEQuant also achieves $3.1\sim 3.6\times$ communication reduction.