SoK: Semantic Privacy in Large Language Models

📄 arXiv: 2506.23603v2 📥 PDF

作者: Baihe Ma, Yanna Jiang, Xu Wang, Guangsheng Yu, Qin Wang, Caijun Sun, Chen Li, Xuelei Qi, Ying He, Wei Ni, Ren Ping Liu

分类: cs.CR, cs.AI

发布日期: 2025-06-30 (更新: 2025-07-16)

💡 一句话要点

提出生命周期框架以解决大型语言模型的语义隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义隐私 大型语言模型 差分隐私 隐私保护 上下文推断 潜在表示泄露 多模态输入 生命周期框架

📋 核心要点

  1. 核心问题：现有的数据隐私措施无法有效应对大型语言模型中的语义隐私风险，尤其是在上下文推断和潜在表示泄露方面。
  2. 方法要点：提出了一种生命周期中心的框架，分析语义隐私风险的产生，并评估现有防御措施的有效性。
  3. 实验或效果：通过分析，揭示了语义层面保护的关键缺口，并提出了未来研究的开放性挑战。

📝 摘要（中文）

随着大型语言模型（LLMs）在敏感领域的广泛应用，传统的数据隐私措施已无法有效保护隐含、上下文或可推断的信息，即我们所定义的语义隐私。本文提出了一种以生命周期为中心的框架，分析语义隐私风险在输入处理、预训练、微调和对齐阶段的产生。我们对关键攻击向量进行了分类，并评估了当前防御措施（如差分隐私、嵌入加密、边缘计算和遗忘技术）如何应对这些威胁。分析结果揭示了语义层面保护的关键缺口，尤其是在上下文推断和潜在表示泄露方面。最后，我们概述了开放性挑战，包括量化语义泄露、保护多模态输入、平衡去标识化与生成质量，以及确保隐私执行的透明性。该研究旨在为未来设计稳健的、语义感知的隐私保护技术提供参考。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中的语义隐私问题，现有方法在保护隐含和上下文信息方面存在明显不足，无法有效防止信息泄露。

核心思路：论文提出了一种生命周期中心的框架，分析语义隐私风险在不同阶段的表现，旨在系统性地识别和评估这些风险。

技术框架：整体架构包括输入处理、预训练、微调和对齐四个主要阶段，针对每个阶段分析潜在的隐私风险和攻击向量。

关键创新：最重要的创新在于系统化地识别语义隐私风险，并评估现有防御措施的有效性，填补了当前研究的空白。

关键设计：在设计中，考虑了差分隐私、嵌入加密等多种防御技术，并分析其在不同阶段的适用性和效果。

📊 实验亮点

分析结果表明，现有的防御措施在面对上下文推断和潜在表示泄露时存在显著的保护缺口，尤其是在多模态输入的情况下，未来的研究需要针对这些挑战进行深入探索。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和法律等敏感行业，能够为这些领域中的大型语言模型提供更为有效的隐私保护方案。通过提升语义隐私保护，能够增强用户信任，促进技术的广泛应用。

📄 摘要（原文）

As Large Language Models (LLMs) are increasingly deployed in sensitive domains, traditional data privacy measures prove inadequate for protecting information that is implicit, contextual, or inferable - what we define as semantic privacy. This Systematization of Knowledge (SoK) introduces a lifecycle-centric framework to analyze how semantic privacy risks emerge across input processing, pretraining, fine-tuning, and alignment stages of LLMs. We categorize key attack vectors and assess how current defenses, such as differential privacy, embedding encryption, edge computing, and unlearning, address these threats. Our analysis reveals critical gaps in semantic-level protection, especially against contextual inference and latent representation leakage. We conclude by outlining open challenges, including quantifying semantic leakage, protecting multimodal inputs, balancing de-identification with generation quality, and ensuring transparency in privacy enforcement. This work aims to inform future research on designing robust, semantically aware privacy-preserving techniques for LLMs.