Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems

📄 arXiv: 2608.21095v1 📥 PDF

作者: Balkrishna Giri, Md Toufique Hasan, Jussi Rasku, Muhammad Waseem, Pekka Abrahamsson

分类: cs.SE, cs.AI, cs.CL, cs.CR, cs.IR

发布日期: 2026-08-21

备注: 7 pages, 1 figure. Accepted for publication in the Main Research Track of the Twenty-First International Conference on Software Engineering Advances (ICSEA 2026)

🔗 代码/项目: GITHUB

💡 一句话要点

提出可信RAG以解决生成AI系统中的虚假信息和知识污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成AI 虚假信息检测 知识污染 自然语言推理 信任指数 安全编码 信息检索 机器学习

📋 核心要点

  1. 现有RAG系统对检索信息的信任过高，导致虚假信息和知识污染问题严重。
  2. 本文提出的评估代理结合了NLI事实验证和五信号毒性检测，构建了一个信任指数以提高信息的可靠性。
  3. 在TruthfulQA数据集上，代理实现了91%的准确率和100%的精确率，显示出显著的检测能力。

📝 摘要（中文）

检索增强生成（RAG）将大型语言模型（LLM）的输出与外部知识相结合，但RAG系统通常对检索到的信息过于信任，导致安全性与可靠性之间的差距。对手通过知识污染插入恶意文档，造成针对性的虚假信息。本文提出了一种评估代理，结合自然语言推理（NLI）事实验证、五信号毒性检测器及信任指数，旨在提高RAG系统的安全性。实验结果显示，该代理在TruthfulQA上达到了91%的准确率和100%的精确率，能够有效检测指令注入，但对实体交换等在位编辑仍然难以识别。

🔬 方法详解

问题定义：本文解决的是生成AI系统中由于对检索信息的过度信任而导致的虚假信息和知识污染问题。现有方法在面对恶意插入信息时表现不佳，存在安全性与可靠性之间的显著差距。

核心思路：提出的评估代理通过结合自然语言推理（NLI）进行事实验证和五信号毒性检测，构建了一个信任指数，旨在有效识别和过滤虚假信息。这样的设计使得系统能够在生成内容之前评估信息的可信度。

技术框架：整体架构包括三个主要模块：自然语言推理模块用于事实验证，毒性检测模块通过五个信号进行信息评估，信任指数模块综合评估信息的可信度。代理在生成内容之前先对上下文进行检测，以确保生成的信息是安全的。

关键创新：最重要的技术创新在于信任指数的构建，采用了非线性减弱器来处理高污染上下文，显著提高了对虚假信息的检测能力。这与现有方法的主要区别在于，现有方法通常缺乏对信息可信度的动态评估机制。

关键设计：信任指数的计算公式为T = 0.4 F + 0.35 C + 0.25 (1 - P)，其中F为事实验证结果，C为上下文相关性，P为污染概率。通过对不同LLM进行阈值校准，恢复了基线的竞争性准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，评估代理在TruthfulQA数据集上达到了91%的准确率和100%的精确率，指令注入的召回率为100%。在不同的LLM上，信任指数保持了良好的区分能力，ROC-AUC值在0.73到0.81之间，显示出生成风格对性能的影响大于模型大小。

🎯 应用场景

该研究的潜在应用领域包括安全编码助手、信息检索系统和生成式对话系统。通过有效检测和过滤虚假信息，能够在软件开发、在线教育和客户服务等多个领域提升信息的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) grounds Large Language Model (LLM) outputs in external knowledge, but RAG systems usually trust whatever they retrieve, creating a Security-Reliability Gap: high semantic relevance does not guarantee factual truth. Adversaries exploit this through knowledge poisoning, inserting malicious documents to cause targeted misinformation. We propose an Evaluation Agent, middleware that combines Natural Language Inference (NLI) factual verification, a five-signal poison detector with relevance-weighted aggregation, and a Trust Index T = 0.4 F + 0.35 C + 0.25 (1 - P ) with a non-linear dampener for high-contamination contexts. On TruthfulQA with Llama 3.3 70B, the agent reaches 91% accuracy and 100% precision, with 100% recall on instruction injection, while in-place edits, such as entity swaps, remain hard to detect. Across three LLMs the Trust Index stays discriminative, with a Receiver Operating Characteristic Area Under the Curve (ROC-AUC) of 0.73 to 0.81; generation style matters more than model size, and per-LLM threshold calibration restores baseline competitive accuracy, whereas a weaker FEVER result shows that cross-dataset generalization requires domain-specific calibration. In a software-engineering use case, a secure-coding assistant over guidance from the Open Worldwide Application Security Project (OWASP) Top 10 and the Common Weakness Enumeration (CWE), the agent reliably blocks instruction injection of unsafe advice (F1 92%), while contradiction and subtle semantic weakening remain hard. Throughout, the agent measures detection of poisoned context before generation, not whether the LLM adopts the injected misinformation. We release the proposed approach, attack generator, and experimental artifacts at the link: https://github.com/GPT-Laboratory/TrustworthyRAG.