Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

📄 arXiv: 2608.04366v1 📥 PDF

作者: Zhaoqi Wang, Daqing He, Zijian Zhang, Ye Liu, Jiamou Liu, Zhirui Zeng, Zhan Qin, Zhen Li, Xin Li, Hongwei Yao, Jincheng An, Yong Liu, Yi Li, Qi Sun, Xiulei Liu, Liehuang Zhu

分类: cs.CR, cs.AI

发布日期: 2026-08-05

期刊: Proceedings of the ACM Web Conference 2026, pages 2661-2672, 2026

DOI: 10.1145/3774904.3792200

💡 一句话要点

提出SecureCollaRAG以解决知识腐蚀问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识腐蚀 检索增强生成 拜占庭容忍 动态GNN 可信度评分 多源知识验证 鲁棒性 非IID数据

📋 核心要点

  1. 现有的检索增强生成系统在处理大型语言模型的幻觉问题时，容易受到知识腐蚀攻击的影响。
  2. 本文提出的SecureCollaRAG框架通过动态GNN基础的可信度评分机制，确保文档来源的安全验证。
  3. 实验结果表明，SecureCollaRAG在非独立同分布数据下，能够有效抵御攻击者的干扰，保持系统的鲁棒性。

📝 摘要（中文）

尽管检索增强生成系统在一定程度上解决了大型语言模型的幻觉问题，但也引入了新的知识腐蚀攻击脆弱性。对手利用这些脆弱性，通过毒化RAG系统提供的文档来操控LLM输出。为应对这一威胁，本文提出了SecureCollaRAG，一个容忍拜占庭故障的协作RAG框架，利用多源知识验证机制。该方法使代理系统能够通过动态GNN基础的可信度评分安全验证文档来源，有效防止隐蔽的知识腐蚀攻击，同时保持必要的领域知识完整性。通过广泛的评估和形式化分析，我们证明SecureCollaRAG在非独立同分布数据下对攻击者保持了鲁棒性。

🔬 方法详解

问题定义：本文旨在解决检索增强生成系统中知识腐蚀攻击的问题。现有方法在处理文档来源时存在脆弱性，容易被对手利用进行操控。

核心思路：SecureCollaRAG通过引入多源知识验证机制，结合动态GNN基础的可信度评分，确保文档的可信性，从而防止知识腐蚀。

技术框架：该框架包括文档来源验证、可信度评分和知识整合三个主要模块。首先，系统通过多源文档进行知识验证，然后利用GNN进行动态评分，最后整合可信知识以生成输出。

关键创新：SecureCollaRAG的主要创新在于其拜占庭容忍特性，能够在存在恶意攻击的情况下，依然保持系统的有效性和鲁棒性。与现有方法相比，该框架在处理非IID数据时表现出更强的适应性。

关键设计：在设计中，采用了动态GNN结构以提高评分的准确性，并设置了特定的损失函数以优化文档验证过程，确保系统在面对攻击时的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SecureCollaRAG在非IID数据分布下的攻击抵抗能力显著优于传统方法，能够有效降低知识腐蚀的影响。具体性能数据表明，该框架在多个测试场景中保持了超过90%的准确率，展现出良好的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动内容生成和信息检索等场景。通过提高系统对知识腐蚀攻击的抵抗能力，SecureCollaRAG能够在多个行业中提升信息的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

While retrieval-augmented generation systems partially address the hallucination issues in large language models, it also introduces new vulnerabilities to knowledge corruption attacks. Adversaries exploit these vulnerabilities by poisoning documents provided by RAG system to manipulate LLM outputs. To counter this threat, we propose SecureCollaRAG, a Byzantine-tolerant collaborative RAG framework leveraging Multi-source Knowledge Validation Mechanism. Our approach enables agent system to securely verify document provenance through dynamic GNN-based credibility scoring, effectively preventing stealthy knowledge corruption attacks while preserving essential domain knowledge integrity. Through extensive evaluations and formal analysis, we demonstrate that SecureCollaRAG maintains robustness against attackers under non-IID data distributions.