Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning

📄 arXiv: 2604.02091 📥 PDF

作者: Yuhang Wu, Xiangqing Shen, Fanfan Wang, Cangqi Zhou, Zhen Wu, Xinyu Dai, Rui Xia

分类: cs.CL, cs.AI, cs.IR

发布日期: 2026-07-05

💡 一句话要点

提出ReRanking Preference Optimization以解决RAG重排序问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 重排序 强化学习 大语言模型 信息检索 生成模型

📋 核心要点

  1. 现有的重排序模型通常依赖静态的人类标注，导致与生成过程的实际需求不匹配。
  2. 本文提出的RRPO框架通过强化学习直接优化重排序与LLM生成质量的对接，消除了对人类标注的依赖。
  3. 实验结果显示，RRPO在多个知识密集型基准测试中显著超越了强基线，验证了其有效性和通用性。

📝 摘要（中文）

重排序模型在优化检索结果方面发挥着关键作用，然而现有模型通常依赖静态的人类标注标签进行优化，导致与下游生成过程脱节。为了解决这一问题，本文提出了重排序偏好优化（RRPO）框架，通过强化学习直接对接重排序与大语言模型（LLM）的生成质量。RRPO将重排序视为一个序列决策过程，利用LLM反馈优化上下文效用，从而消除对昂贵人类标注的需求。实验结果表明，RRPO在知识密集型基准测试中显著优于包括RankZephyr在内的强基线，并且该框架具有良好的通用性和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决现有重排序模型与下游生成任务之间的脱节问题。现有方法通常依赖静态的人类标注，无法有效反映LLM生成所需的实际效用。

核心思路：RRPO框架通过强化学习将重排序视为序列决策过程，利用LLM反馈来优化上下文效用，从而实现重排序与生成质量的直接对接。

技术框架：RRPO的整体架构包括重排序模块、LLM反馈模块和强化学习优化模块。重排序模块负责初步排序，LLM反馈模块提供生成质量的评估，强化学习优化模块则根据反馈调整重排序策略。

关键创新：RRPO的主要创新在于通过强化学习直接利用LLM反馈进行重排序优化，这一方法与传统依赖静态标注的方式本质上不同，能够更好地满足生成任务的需求。

关键设计：在设计中，RRPO引入了参考锚定的确定性基线以确保训练的稳定性，并在损失函数中考虑了上下文效用的优化，确保模型在面对噪声监督时依然保持鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RRPO在知识密集型基准测试中显著超越了包括RankZephyr在内的多个强基线，提升幅度达到XX%。此外，RRPO在不同的读者模型（如GPT-4o）上表现出良好的通用性，证明了其广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、问答系统和对话生成等。通过优化重排序过程，RRPO能够提升生成模型的回答质量，进而提高用户体验。未来，该方法有望在多种生成任务中得到广泛应用，推动智能系统的进一步发展。

📄 摘要（原文）

Rerankers play a pivotal role in refining retrieval results for Retrieval-Augmented Generation. However, current reranking models are typically optimized on static human annotated relevance labels in isolation, decoupled from the downstream generation process. This isolation leads to a fundamental misalignment: documents identified as topically relevant by information retrieval metrics often fail to provide the actual utility required by the LLM for precise answer generation. To bridge this gap, we introduce ReRanking Preference Optimization (RRPO), a reinforcement learning framework that directly aligns reranking with the LLM's generation quality. By formulating reranking as a sequential decision-making process, RRPO optimizes for context utility using LLM feedback, thereby eliminating the need for expensive human annotations. To ensure training stability, we further introduce a reference-anchored deterministic baseline. Extensive experiments on knowledge-intensive benchmarks demonstrate that RRPO significantly outperforms strong baselines, including the powerful list-wise reranker RankZephyr. Further analysis highlights the versatility of our framework: it generalizes seamlessly to diverse readers (e.g., GPT-4o), integrates orthogonally with query expansion modules like Query2Doc, and remains robust even when trained with noisy supervisors.