Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems

📄 arXiv: 2402.17840v3 📥 PDF

作者: Zhenting Qi, Hanlin Zhang, Eric Xing, Sham Kakade, Himabindu Lakkaraju

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2024-02-27 (更新: 2024-10-06)

💡 一句话要点

提出一种方法以解决RAG系统中的数据泄露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据泄露 检索增强生成 语言模型 指令调优 信息安全 上下文理解 攻击检测

📋 核心要点

  1. 现有的检索增强生成系统存在数据泄露风险，攻击者可通过提示注入轻易提取存储数据。
  2. 论文提出通过消除位置偏差的策略来减轻数据泄露风险，增强模型对上下文的有效利用。
  3. 实验结果显示，设计的攻击在定制GPT模型中成功率达100%，并在大规模文本中实现高效提取。

📝 摘要（中文）

本研究探讨了检索增强生成（RAG）系统中数据存储泄露的风险，特别是在使用指令调优语言模型的情况下。我们发现，攻击者可以利用语言模型的指令跟随能力，通过提示注入轻易提取数据存储中的文本。该漏洞在多种现代语言模型中普遍存在，并且随着模型规模的扩大，利用的难度降低。此外，我们还提出了通过消除位置偏差策略来显著减轻此类漏洞的影响。实验表明，在25个随机选择的定制GPT模型中，我们设计的攻击能够以100%的成功率导致数据存储泄露，并且在77,000字的书籍中以41%的速率提取文本数据。

🔬 方法详解

问题定义：本论文旨在解决检索增强生成（RAG）系统中存在的数据存储泄露问题。现有方法在指令调优的语言模型中，攻击者可以通过提示注入轻易提取存储数据，导致信息安全隐患。

核心思路：论文的核心思路是通过消除位置偏差来增强模型对上下文的有效利用，从而降低数据泄露的风险。通过优化模型的指令跟随能力，提升其对不期望指令的抵抗力。

技术框架：整体架构包括数据存储、指令调优语言模型和攻击检测模块。首先，构建RAG系统并进行指令调优，然后设计攻击策略并评估其对数据存储的影响。

关键创新：最重要的技术创新点在于提出了消除位置偏差的策略，这一策略显著提高了模型对上下文的利用效率，降低了数据泄露的可能性，与现有方法相比具有本质区别。

关键设计：在参数设置上，采用了多种位置偏差消除技术，并设计了特定的损失函数以优化模型的指令跟随能力，确保在面对攻击时的鲁棒性。通过调整网络结构，增强模型对上下文的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，设计的攻击在25个定制GPT模型中成功率达100%，并在77,000字的书籍中以41%的速率提取文本数据，而在1,569,000字的语料库中提取率为3%。这一成果表明，数据泄露风险在大规模模型中尤为严重。

🎯 应用场景

该研究的潜在应用领域包括信息安全、自然语言处理和智能助手等。通过提高RAG系统的安全性，可以有效防止敏感数据泄露，增强用户信任。此外，优化后的模型在实际应用中能够更好地理解和响应用户指令，提升交互体验。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) improves pre-trained models by incorporating external knowledge at test time to enable customized adaptation. We study the risk of datastore leakage in Retrieval-In-Context RAG Language Models (LMs). We show that an adversary can exploit LMs' instruction-following capabilities to easily extract text data verbatim from the datastore of RAG systems built with instruction-tuned LMs via prompt injection. The vulnerability exists for a wide range of modern LMs that span Llama2, Mistral/Mixtral, Vicuna, SOLAR, WizardLM, Qwen1.5, and Platypus2, and the exploitability exacerbates as the model size scales up. We also study multiple effects of RAG setup on the extractability of data, indicating that following unexpected instructions to regurgitate data can be an outcome of failure in effectively utilizing contexts for modern LMs, and further show that such vulnerability can be greatly mitigated by position bias elimination strategies. Extending our study to production RAG models GPTs, we design an attack that can cause datastore leakage with a 100% success rate on 25 randomly selected customized GPTs with at most 2 queries, and we extract text data verbatim at a rate of 41% from a book of 77,000 words and 3% from a corpus of 1,569,000 words by prompting the GPTs with only 100 queries generated by themselves.