Layer-Parallel Inference Reduces Encrypted Nonlinear Depth in Transformers

📄 arXiv: 2607.04819v1 📥 PDF

作者: Ligong Han, Kai Xu, Hao Wang, Ruijiang Gao, Akash Srivastava

分类: cs.LG, cs.CR

发布日期: 2026-07-06

备注: Code is available at https://github.com/phymhan/nanochat-snlp/tree/snlp-fhe

💡 一句话要点

提出结构化牛顿层并行以降低变换器的加密非线性深度

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 完全同态加密 变换器推理 结构化牛顿层并行 非线性深度 性能优化 机器学习 隐私保护

📋 核心要点

  1. 现有的完全同态加密方法在变换器推理中面临多个非线性块的顺序组合带来的性能瓶颈。
  2. 本文提出结构化牛顿层并行（SNLP）方法，通过减少层级顺序非线性深度来提高FHE的友好性。
  3. 实验结果表明，SNLP显著降低了符号引导次数和误差放大，提升了推理效率和准确性。

📝 摘要（中文）

完全同态加密（FHE）使得在加密数据上进行计算成为可能，但实际的加密变换器推理受到多个非线性块的顺序组合的瓶颈。本文研究了结构化牛顿层并行（SNLP）是否能够使这种层间组合更适合FHE：每个变换器块仍然需要对softmax和RMSNorm等操作进行多项式近似，但SNLP将层级顺序非线性深度从L阶段减少到少量求解迭代加上线性结构修正。通过基于切比雪夫多项式近似的仿真框架，我们测量了在8个模型和4个架构家族中，顺序推理与SNLP推理下的误差累积。在一个0.5B IDN训练模型上，SNLP将符号引导次数从53减少到20（2.65倍），且仅增加了1.2%的困惑度，同时降低了误差放大（1.36倍对比1.42倍）。在所有测试模型中，SNLP的放大效果低于顺序推理。消融实验表明，softmax近似主导了误差预算，而CKKS算术噪声在我们的设置中可以忽略，表明SNLP是对块级FHE友好操作设计的补充，而非替代。

🔬 方法详解

问题定义：本文旨在解决在完全同态加密环境下，变换器推理中由于多个非线性块的顺序组合导致的性能瓶颈。现有方法在处理这些非线性操作时，计算效率低下，影响了实际应用。

核心思路：论文提出的结构化牛顿层并行（SNLP）方法，通过将层级顺序非线性深度从L阶段减少到少量求解迭代加上线性结构修正，从而提高了FHE的计算效率。该方法的设计旨在使得每个变换器块的多项式近似计算更加高效。

技术框架：整体架构包括多个模块，首先是对变换器块的多项式近似处理，然后是通过SNLP方法进行层间并行计算，最后通过仿真框架评估误差累积和性能提升。

关键创新：最重要的技术创新在于SNLP方法的提出，它通过减少非线性深度来优化加密推理的效率，与传统的顺序推理方法相比，显著降低了计算复杂度和误差放大。

关键设计：在参数设置上，论文强调了softmax近似对误差预算的主导作用，并指出CKKS算术噪声在特定设置下是可以忽略的，这为后续的FHE友好操作设计提供了新的思路。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SNLP方法在一个0.5B IDN训练模型上将符号引导次数从53减少到20，提升幅度达到2.65倍，同时仅增加1.2%的困惑度。此外，SNLP在所有测试模型中均表现出低于顺序推理的误差放大，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括安全数据处理、隐私保护的机器学习和加密计算等。通过提高加密变换器的推理效率，SNLP方法能够在保护数据隐私的同时，推动智能系统在敏感领域的应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Fully homomorphic encryption (FHE) enables computation on encrypted data, but practical encrypted Transformer inference is bottlenecked by the sequential composition of many nonlinear blocks. We study whether Structured Newton Layer Parallelism (SNLP) can make this inter-layer composition more FHE-friendly: each Transformer block still requires polynomial approximations for operations such as softmax and RMSNorm, but SNLP reduces the layerwise sequential nonlinear depth from L stages to a small number of solver iterations plus linear structured corrections. Using a simulation framework based on Chebyshev polynomial approximations, we measure error accumulation under sequential versus SNLP inference across 8 models and 4 architecture families. On a 0.5B IDN-trained model, SNLP reduces symbolic bootstraps from 53 to 20 (2.65x) with only +1.2% perplexity degradation, while lowering error amplification (1.36x vs. 1.42x). Across all tested models, SNLP has lower amplification than sequential inference. Ablations show that softmax approximation dominates the error budget and CKKS arithmetic noise is negligible in our setting, suggesting that SNLP is complementary to block-level FHE-friendly operator design rather than a replacement for it.