Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning

📄 arXiv: 2611.04264v1 📥 PDF

作者: Janet Sung, Kainan Zhou, Gangzhen Qian, Hang Xiao, Lu Yi

分类: cs.AI

发布日期: 2026-11-03

💡 一句话要点

提出RAG检索系统的可靠性压力测试方法以应对查询相关的语料中毒问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 中毒攻击 信息检索 性能评估 查询锚定

📋 核心要点

  1. 现有的RAG系统在面对外部文本的影响时，缺乏有效的防护机制，导致检索性能显著下降。
  2. 本文提出了一种压力测试方法，通过调整文档内容和查询信息，深入分析RAG系统在中毒攻击下的表现。
  3. 实验结果表明，特定的查询目标文档可以显著降低检索性能，且查询锚定是影响检索效果的主要因素。

📝 摘要（中文）

外部文本仅在检索器将其纳入模型上下文后才能影响检索增强生成（RAG）系统。本文重点研究了这一纳入步骤，考察了文档内容、攻击者查询信息、每个目标的中毒预算和污染范围的变化。在623个来自SciFact和NFCorpus的基准查询中，每个查询的五个查询目标文档在孤立目标压力下使经典检索器的nDCG@10降低了40.2-61.5%。全查询锚定解释了大部分最佳匹配25（BM25）性能下降，而附加文本也改变了潜在语义分析（LSA）和混合排名。预训练的BGE-small验证在两个数据集上对查询仅P=5达到了100%的目标曝光率，注入负载的添加使SciFact的nDCG仅从0.269变为0.271，略微降低了NFCorpus的曝光率至98.8%。

🔬 方法详解

问题定义：本文旨在解决RAG系统在查询相关语料中毒攻击下的可靠性问题。现有方法在面对外部文本时，未能有效评估其对检索性能的影响，导致性能下降。

核心思路：通过对文档内容、查询信息和中毒预算的变化进行系统性研究，本文提出了一种压力测试方法，以评估RAG系统在不同攻击场景下的表现。

技术框架：研究采用了基于623个基准查询的实验框架，分析了查询目标文档的影响，主要模块包括文档内容调整、查询信息分析和性能评估。

关键创新：本文的主要创新在于提出了全查询锚定的概念，揭示了其对BM25性能下降的主导作用，与传统方法相比，提供了更深入的分析视角。

关键设计：实验中使用了预训练的BGE-small模型，设置了不同的查询长度和中毒参数，采用nDCG作为性能评估指标，确保了实验的系统性和可重复性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，针对每个查询的五个目标文档使得经典检索器的nDCG@10降低了40.2-61.5%。预训练的BGE-small模型在查询仅P=5的情况下达到了100%的目标曝光率，表明查询锚定在检索性能中占据主导地位。

🎯 应用场景

该研究为RAG系统的安全性提供了重要的理论基础，潜在应用于信息检索、自然语言处理等领域，帮助开发更为稳健的检索系统，抵御外部攻击的影响。未来可扩展至其他类型的生成模型，以增强其对中毒攻击的防御能力。

📄 摘要（原文）

External text can affect a retrieval-augmented generation (RAG) system only after the retriever admits it to the model context. We stress this admission step while varying document content, attacker query information, per-target poison budget, and contamination scope. Across 623 Benchmarking Information Retrieval (BEIR) queries from SciFact and NFCorpus, five query-targeted documents per query reduce classical-retriever nDCG@10 by 40.2-61.5% in isolated-target stress. Full-query anchoring explains most Best Matching 25 (BM25) degradation, whereas appended text also shifts latent semantic analysis (LSA) and Hybrid rankings. A pretrained BGE-small validation reaches 100% target exposure for query-only P=5 on both datasets; adding the injection payload changes SciFact nDCG only from 0.269 to 0.271 and lowers NFCorpus exposure slightly to 98.8%, indicating that query anchoring remains the dominant retrieval-side factor for this dense model. Query length materially changes the interpretation of partial-information attacks: on 162 long SciFact queries, two random terms cover 19.9% of eligible terms and still yield 39.5% Hybrid target exposure. Multi-target contamination adds cross-target interference. Overlap-based admission can remove full-query poisons but may sharply reduce clean retrieval utility, and maximal marginal relevance (MMR) leaves exposure unchanged under the tested configuration. The study measures retrieval-layer failures, not downstream instruction following.