VerTox: Verifiable Reward-Guided Corpus Poisoning Against Neural Ranking Models

📄 arXiv: 2609.01325v1 📥 PDF

作者: Zhiqi Huang, Vivek Datla, Zhichao Xu, Puxuan Yu, Vivek Srikumar, Alfy Samuel

分类: cs.CL, cs.IR

发布日期: 2026-09-01

备注: EMNLP 2026 Main Conference

💡 一句话要点

提出VerTox框架以解决神经排名模型的语料中毒问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经排名模型 语料中毒 强化学习 对抗性生成 信息检索 鲁棒性

📋 核心要点

  1. 现有神经排名模型在面对大语言模型生成的流畅且具有误导性的内容时，鲁棒性不足，易受语料中毒攻击影响。
  2. 论文提出的VerTox框架将语料中毒问题视为可验证的奖励引导强化学习问题，通过奖励塑造实现排名扭曲与事实腐败的耦合。
  3. 实验结果显示，VerTox方法在主要神经排名架构中实现了近乎完美的攻击成功率，生成的对抗性文档在排名上优于目标文档。

📝 摘要（中文）

神经排名模型已成为现代信息检索系统的核心组成部分，但在大语言模型的影响下，其鲁棒性尚未得到充分理解。本研究探讨了神经排名模型在语料中毒攻击下的脆弱性，提出了VerTox框架，将语料中毒问题形式化为可验证的奖励引导强化学习问题。通过专门的奖励塑造，将排名扭曲与事实腐败显式耦合，我们对紧凑的语言模型进行了微调，生成了流畅且难以检测的对抗性文档。实验表明，该方法在主要神经排名架构中实现了近乎完美的攻击成功率，显著降低了下游应用的性能。

🔬 方法详解

问题定义：本论文旨在解决神经排名模型在语料中毒攻击下的脆弱性。现有方法未能有效应对大语言模型生成的恶意内容，导致排名行为失真。

核心思路：VerTox框架通过将语料中毒问题形式化为可验证的奖励引导强化学习问题，显式耦合排名扭曲与事实腐败，从而生成对抗性文档。

技术框架：该框架包括两个主要模块：首先，通过奖励塑造机制引导模型生成对抗性文档；其次，利用强化学习优化生成过程，以确保生成文档的流畅性和低困惑度。

关键创新：VerTox的创新在于将语料中毒问题与强化学习结合，形成了一个新的攻击模型，与传统方法相比，能够更有效地生成难以检测的对抗性文档。

关键设计：在设计中，采用了特定的奖励函数来鼓励事实腐败，并对生成的文档进行流畅性和困惑度的评估，以确保其在实际应用中的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，VerTox方法在主要神经排名架构中实现了近乎完美的攻击成功率，生成的对抗性文档在排名上优于目标文档，且流畅性高、困惑度低，难以被检测，显著降低了下游RAG应用的性能。

🎯 应用场景

该研究的潜在应用领域包括信息检索系统、推荐系统以及任何依赖于神经排名模型的AI系统。通过提高对抗性文档的生成能力，能够帮助开发更为鲁棒的模型，抵御潜在的攻击，提升系统的安全性和可靠性。

📄 摘要（原文）

Neural ranking models have become core components of modern information retrieval systems and important building blocks of AI systems such as retrieval-augmented generation (RAG) pipelines. However, their robustness remains insufficiently understood in the presence of large language models (LLMs), which can generate fluent and deceptive content at scale. This work investigates the vulnerability of neural ranking models to corpus poisoning attacks, in which an adversary injects a small number of maliciously crafted documents into the corpus to distort ranking behavior. We propose VerTox, the first framework to formulate corpus poisoning as a verifiable reward-guided reinforcement learning (RLVR) problem. By explicitly coupling ranking distortion with factual corruption through specialized reward shaping, we fine-tune compact LLMs into adversarial generators. Experiments demonstrate that our method achieves near-perfect attack success rates, producing adversarial documents that frequently rank higher than target documents across major neural ranking architectures, as well as a proprietary commercial embedding model. The generated adversarial documents are fluent and exhibit low perplexity, making them difficult to detect. Furthermore, by explicitly encouraging factual corruption, our adversarial documents significantly degrade the performance of a downstream RAG application.