Privacy-Preserving RAG by Concealing Sensitive Information from External LLMs

📄 arXiv: 2608.12675v1 📥 PDF

作者: Saleh Almohaimeed, Saad Almohaimeed, Mousa Jari, Fahad Alotaibi, Khalid A. Alobaid

分类: cs.AI, cs.CR

发布日期: 2026-08-13

备注: Submitted to Knowledge-Based Systems Journal

💡 一句话要点

提出SEAG框架以保护RAG中的敏感信息

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 检索增强生成 大型语言模型 敏感信息 实体替换 别名生成 用户隐私 框架设计

📋 核心要点

  1. 现有RAG方法在隐私保护上主要关注未授权访问，而忽视了外部生成器对敏感信息的潜在访问风险。
  2. 本文提出的SEAG框架通过生成敏感实体的别名，保护用户查询和检索文档中的敏感信息。
  3. 实验结果显示，SEAG框架在用户响应准确率上超过80%，并在隐藏敏感实体方面表现出色。

📝 摘要（中文）

检索增强生成（RAG）广泛用于提升大型语言模型（LLMs）在回答用户查询时的表现。现有的隐私研究主要集中在防止未授权用户访问敏感数据上，而外部生成器对查询和检索文档的访问可能导致敏感信息泄露。本文提出了敏感实体别名生成器（SEAG），该框架允许用户在不泄露敏感信息的情况下使用强大的第三方生成器。SEAG通过轻量级模型定位敏感实体，生成相应的别名，并构建实体替换表，以在将查询和文档转发给外部生成器之前替换敏感词。实验结果表明，SEAG框架在用户指标上达到了80%以上的准确率，且在隐藏敏感实体方面表现良好。

🔬 方法详解

问题定义：本文解决的问题是外部生成器在使用RAG时可能接触到的敏感信息泄露问题。现有方法未能有效防止这种信息泄露，导致用户隐私风险增加。

核心思路：SEAG框架的核心思路是通过生成敏感实体的别名来替换用户查询和检索文档中的敏感信息，从而在使用外部生成器时保护用户隐私。

技术框架：SEAG框架包括三个主要模块：敏感实体定位模块、别名生成模块和实体替换表构建模块。首先定位敏感实体，然后生成相应的别名，最后构建替换表以进行信息替换。

关键创新：SEAG的主要创新在于其轻量级模型能够高效识别和替换敏感信息，显著提升了隐私保护能力，与传统方法相比具有更好的适应性和灵活性。

关键设计：在模型设计上，SEAG采用了特定的损失函数以优化别名生成的准确性，并通过两个数据集进行模型微调和评估，确保了框架的有效性和实用性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SEAG框架在用户响应准确率上超过80%，并且在隐藏敏感实体方面，Qwen-3、LLaMA-3.2和Phi-4模型的准确率分别为77.83%、76.73%和74.91%。这些结果表明SEAG在隐私保护和信息处理方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和法律等行业，这些领域通常涉及大量敏感信息。SEAG框架的实施可以有效保护用户隐私，提升用户对第三方生成器的信任度，从而推动相关技术的广泛应用。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) is widely used to improve the performance of Large Language Models (LLMs) in answering user queries. Existing privacy research on RAG has focused on preventing unauthorized users from accessing sensitive data. However, another important problem that is often overlooked in RAG privacy research is that external generators have access to the query and the retrieved documents, which may contain confidential information that could potentially be misused or accessed for unintended purposes. In this paper, we introduce the Sensitive Entity Alias Generator (SEAG), a privacy-preserving framework that empowers users to utilize powerful third-party generators without disclosing sensitive information. SEAG introduces a lightweight model that locates sensitive entities, generates corresponding aliases, and constructs an entity replacement table. The table is used to replace sensitive words in the user's query and in the retrieved documents before they are forwarded to an external generator. For this purpose, two datasets were constructed: one for fine-tuning SEAG models to generate entity replacement tables, and another for evaluating the entire SEAG framework. The experimental results demonstrate the success of the SEAG framework. As for the User metric, which measures the ability of the model to provide a correct response to the user while hiding sensitive information from the external generator, all SEAG models achieved over 80% accuracy. Additional analysis further evaluated the ability of SEAG models Qwen-3, LLaMA-3.2, and Phi-4 to hide all sensitive entities within given documents. The results show good performance with total accuracies of 77.83%, 76.73%, and 74.91%, respectively.