Towards Privacy-Preserving LLM Inference via Collaborative Obfuscation (Technical Report)

📄 arXiv: 2603.01499v1 📥 PDF

作者: Yu Lin, Qizhi Zhang, Wenqiang Ruan, Daode Zhang, Jue Hong, Ye Wu, Hanning Xia, Yunlong Mao, Sheng Zhong

分类: cs.CR, cs.AI

发布日期: 2026-03-02

💡 一句话要点

提出AloePri，通过协同混淆实现保护隐私的大语言模型推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 大语言模型 LLM推理 协变混淆 工业应用

📋 核心要点

  1. 现有保护隐私的LLM推理方法难以兼顾精度、效率、异构硬件兼容性和现有基础设施的复用，限制了其工业应用。
  2. AloePri通过协变混淆技术，联合转换数据和模型参数，在保护隐私的同时，优化了推理精度和效率。
  3. 实验表明，AloePri在Deepseek-V3.1-Terminus模型上实现了接近明文推理的效率，精度损失仅为0.0%~3.5%，并有效抵抗了现有攻击。

📝 摘要（中文）

大型语言模型（LLM）的快速发展推动了基于云的LLM推理服务的广泛应用，同时也带来了远程推理中私有数据传输和处理相关的显著隐私风险。为了使保护隐私的LLM推理技术能够实际应用于工业场景，必须同时满足三个核心要求：（1）最小化准确性和效率损失，以减轻服务体验的降低。（2）推理过程可以在由异构传统xPU组成的大规模集群上运行。（3）确保与现有LLM基础设施的兼容性，以重用其工程优化。据我们所知，现有的保护隐私的LLM推理方法均无法在提供有意义的隐私保证的同时满足上述所有约束。在本文中，我们提出了AloePri，这是一种用于工业应用的首个保护隐私的LLM推理方法。AloePri通过协变混淆来保护输入和输出数据，该方法共同转换数据和模型参数，以实现更好的准确性和隐私。我们为每个模型组件精心设计了转换，以确保推理准确性和数据隐私，同时保持与语言模型即服务现有基础设施的完全兼容性。AloePri已集成到工业系统中，用于评估主流LLM。对Deepseek-V3.1-Terminus模型（671B参数）的评估表明，AloePri导致0.0%~3.5%的准确性损失，并表现出与明文推理相当的效率。同时，AloePri成功抵抗了最先进的攻击，仅恢复了不到5%的token。据我们所知，AloePri是第一个在真实世界系统中对大规模模型表现出实际适用性的方法。

🔬 方法详解

问题定义：论文旨在解决云端LLM推理服务中存在的用户数据隐私泄露问题。现有方法在保护隐私的同时，往往会引入显著的精度损失、效率降低，或者难以兼容现有的LLM基础设施和异构计算平台，导致无法在工业场景中实际应用。

核心思路：AloePri的核心思路是利用协变混淆技术，同时对输入数据和模型参数进行转换，使得推理过程在混淆后的空间中进行。通过精心设计的转换，可以在保护数据隐私的同时，尽可能地保持推理的准确性和效率。这种协同转换的设计允许在不暴露原始数据的情况下完成计算。

技术框架：AloePri的整体框架包括数据混淆、模型参数混淆和推理执行三个主要阶段。首先，对用户输入数据进行混淆转换。然后，对LLM的模型参数进行相应的混淆转换，确保转换后的模型能够处理混淆后的输入数据。最后，在混淆后的数据和模型上执行推理，得到混淆后的输出结果。用户收到混淆后的输出后，可以进行逆转换得到最终结果。整个过程与现有的LLM服务架构兼容。

关键创新：AloePri的关键创新在于提出了协变混淆的概念，并针对LLM的各个组件（例如，embedding层、transformer层等）设计了特定的混淆转换方法。这些转换方法旨在最小化对推理精度的影响，同时提供有效的隐私保护。此外，AloePri还考虑了与现有LLM基础设施的兼容性，使得它可以方便地集成到现有的系统中。

关键设计：AloePri针对不同的模型组件采用了不同的混淆策略。例如，对于embedding层，可以采用加性掩码或乘性掩码进行混淆；对于transformer层，可以采用矩阵分解或同态加密等技术进行混淆。关键在于保证混淆转换的可逆性，以便用户可以恢复最终的推理结果。论文中可能还涉及一些参数调优和损失函数设计，以进一步提高推理精度和隐私保护效果（具体细节未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AloePri在Deepseek-V3.1-Terminus模型（671B参数）上的评估结果显示，其精度损失仅为0.0%~3.5%，推理效率与明文推理相当。同时，AloePri能够有效抵抗现有攻击，仅能恢复不到5%的token。这些结果表明，AloePri在实际应用中具有良好的性能和安全性。

🎯 应用场景

AloePri可应用于各种需要保护用户隐私的LLM推理服务场景，例如医疗诊断、金融风控、法律咨询等。通过该技术，用户可以在享受LLM强大能力的同时，避免敏感数据泄露的风险。该研究有望推动LLM在隐私敏感领域的广泛应用，并促进相关隐私保护技术的发展。

📄 摘要（原文）

The rapid development of large language models (LLMs) has driven the widespread adoption of cloud-based LLM inference services, while also bringing prominent privacy risks associated with the transmission and processing of private data in remote inference. For privacy-preserving LLM inference technologies to be practically applied in industrial scenarios, three core requirements must be satisfied simultaneously: (1) Accuracy and efficiency losses should be minimized to mitigate degradation in service experience. (2) The inference process can be run on large-scale clusters consist of heterogeneous legacy xPUs. (3) Compatibility with existing LLM infrastructures should be ensured to reuse their engineering optimizations. To the best of our knowledge, none of the existing privacy-preserving LLM inference methods satisfy all the above constraints while delivering meaningful privacy guarantees. In this paper, we propose AloePri, the first privacy-preserving LLM inference method for industrial applications. AloePri protects both the input and output data by covariant obfuscation, which jointly transforms data and model parameters to achieve better accuracy and privacy. We carefully design the transformation for each model component to ensure inference accuracy and data privacy while keeping full compatibility with existing infrastructures of Language Model as a Service. AloePri has been integrated into an industrial system for the evaluation of mainstream LLMs. The evaluation on Deepseek-V3.1-Terminus model (671B parameters) demonstrates that AloePri causes accuracy loss of 0.0%~3.5% and exhibits efficiency equivalent to that of plaintext inference. Meanwhile, AloePri successfully resists state-of-the-art attacks, with less than 5\% of tokens recovered. To the best of our knowledge, AloePri is the first method to exhibit practical applicability to large-scale models in real-world systems.