Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference
作者: Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč
分类: cs.LG
发布日期: 2026-06-15
💡 一句话要点
提出正交混淆方法以保护大型语言模型推理隐私
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 隐私保护 大型语言模型 正交混淆 变换器 推理安全 深度学习
📋 核心要点
- 现有的分割推理方法在保护隐私方面存在不足，隐藏表示仍可能被恢复，导致敏感信息泄露。
- 论文提出通过正交混淆程序，在传输前将嵌入乘以秘密正交矩阵，确保推理过程中的隐私保护。
- 实验表明，正交混淆显著降低了令牌恢复率，从超过35%降至最多1.3%，且困惑度仅增加0.4%。
📝 摘要（中文）
在本研究中，作者指出，运行大型语言模型（LLM）在本地往往不切实际，导致敏感文本的推理依赖第三方服务。虽然分割推理可以部分缓解这一问题，但隐藏表示仍可能被恢复。为此，作者提出了一种正交混淆程序，通过在传输前将嵌入乘以一个秘密的正交矩阵来保护隐私。为支持任意旋转下的正确推理，论文引入了一种新的变换器变体ConjFormer，确保在旋转基下进行完整的前向传播。实验结果表明，该方法显著降低了令牌恢复率，同时对模型的困惑度影响极小。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型推理过程中的隐私泄露问题，现有的分割推理方法无法有效防止隐藏表示被恢复。
核心思路：提出正交混淆程序，通过在客户端将嵌入乘以一个秘密的正交矩阵，确保服务器无法获取未旋转的隐藏状态，从而保护隐私。
技术框架：整体架构包括客户端的正交混淆步骤和服务器端的ConjFormer变换器，后者在旋转基下进行完整的前向传播。
关键创新：引入ConjFormer变换器，使其在轻量级归一化（标量RMSNorm）和线性权重的块正交共轭下实现$ ext{O}(d)$-等变性，这是与现有方法的本质区别。
关键设计：在设计中，采用了正交矩阵乘法和轻量级归一化技术，确保在不引入噪声或复杂加密机制的情况下实现隐私保护。实验中使用了GPT-2和Llama 3.2 1B模型进行微调，验证了方法的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，正交混淆方法成功将令牌恢复率从超过35%降低至最多1.3%，同时对模型的困惑度仅增加0.4%。这一显著提升表明该方法在隐私保护方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括医疗、金融等需要保护用户隐私的场景。通过在本地进行推理，用户可以避免将敏感数据发送给第三方，从而降低数据泄露的风险。未来，该方法可能推动更多隐私保护技术在大型语言模型中的应用。
📄 摘要（原文）
Running large language models locally is often impractical, pushing inference on sensitive text to third-party providers. Split inference partially mitigates this by keeping tokens on the client and sending only hidden representations, but these representations can still be recovered via nearest-neighbor search against the public embedding table. We propose an orthogonal obfuscation procedure in which the client multiplies embeddings by a secret orthogonal matrix before transmission. To enable correct inference under arbitrary rotations, we introduce ConjFormer, a transformer variant that is exactly $\mathrm{O}(d)$-equivariant via a lightweight normalization change (scalar RMSNorm) together with blockwise orthogonal conjugation of all linear weights. As a result, the server performs the full forward pass entirely in the rotated basis and never observes unrotated hidden states. Experiments on GPT-2 and Llama 3.2 1B models fine-tuned on PubMed show that orthogonal obfuscation eliminates direct cosine nearest-neighbor inversion and reduces token recovery from over 35% top-10 to at most 1.3%, while increasing perplexity by only 0.4% after fine-tuning. These results indicate that enforcing symmetry at the architectural level can provide a practical defense for privacy-preserving LLM inference without noise injection or heavy cryptographic machinery.