GRACE: Reinforcement Learning for Grounded Response and Abstention under Contextual Evidence

📄 arXiv: 2601.04525v1 📥 PDF

作者: Yibo Zhao, Jiapeng Zhu, Zichen Ding, Xiang Li

分类: cs.CL

发布日期: 2026-01-08

备注: 18 pages

🔗 代码/项目: GITHUB

💡 一句话要点

GRACE：基于上下文证据，用于可信回复与拒绝的强化学习框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 强化学习 证据 grounding 拒绝回答 异构检索器 门控奖励函数 大型语言模型

📋 核心要点

  1. 现有检索增强生成模型缺乏统一框架，无法同时保证回复的证据充分性和拒绝回答的可靠性。
  2. GRACE 提出一种强化学习框架，通过异构检索器生成多样化训练样本，并使用门控奖励函数训练模型。
  3. 实验表明，GRACE 在准确率和拒绝回答平衡方面达到 SOTA，且标注成本仅为先前方法的 10%。

📝 摘要（中文）

检索增强生成(RAG)通过整合外部知识来增强大型语言模型(LLM)的能力，但系统仍然容易出现两个关键缺陷：在没有明确的证据支持下提供正确的答案，以及在检索到的上下文信息不足时产生捏造的回复。虽然之前的研究已经分别解决了这些问题，但目前缺乏一个统一的框架，能够整合基于证据的 grounding 和可靠的拒绝回答机制。本文提出了 GRACE，一个强化学习框架，可以同时缓解这两种类型的缺陷。GRACE 采用了一种数据构建方法，该方法利用异构检索器生成多样化的训练样本，无需手动标注。然后，采用多阶段门控奖励函数来训练模型，使其能够评估证据的充分性，提取关键的支持性证据，并提供答案或明确拒绝回答。在两个基准测试上的实验结果表明，GRACE 实现了最先进的整体准确率，并在准确回复和拒绝之间取得了良好的平衡，同时仅需先前方法 10% 的标注成本。代码已开源。

🔬 方法详解

问题定义：现有检索增强生成模型(RAG)存在两个主要问题。一是模型可能在没有明确证据支持的情况下给出正确答案，导致用户难以信任其回复。二是当检索到的上下文信息不足时，模型可能会捏造信息，产生不准确甚至错误的回复。这些问题降低了RAG系统的可靠性和实用性。

核心思路：GRACE的核心思路是利用强化学习，训练模型同时学习证据评估、证据提取和回复/拒绝策略。通过异构检索器生成多样化的训练数据，并设计多阶段门控奖励函数，引导模型在证据充分时给出准确回复，证据不足时选择拒绝回答。这种方法旨在提高RAG系统的整体可靠性和准确性。

技术框架：GRACE框架包含以下主要模块：1) 数据构建模块：利用异构检索器从外部知识库中检索相关上下文信息，构建多样化的训练样本。2) 模型训练模块：使用强化学习算法，训练模型学习证据评估、证据提取和回复/拒绝策略。3) 奖励函数设计：设计多阶段门控奖励函数，根据模型在不同阶段的表现给予奖励或惩罚，引导模型学习最优策略。4) 推理模块：在推理阶段，模型首先评估证据的充分性，然后根据评估结果选择回复或拒绝回答。

关键创新：GRACE的关键创新在于：1) 提出了一个统一的框架，同时解决了RAG系统中证据不足和捏造信息的问题。2) 采用异构检索器生成多样化的训练数据，无需手动标注，降低了训练成本。3) 设计了多阶段门控奖励函数，能够更精细地控制模型的学习过程，提高模型的性能。与现有方法相比，GRACE能够更有效地平衡准确回复和拒绝回答，提高RAG系统的整体可靠性。

关键设计：GRACE的关键设计包括：1) 异构检索器的选择：选择多种类型的检索器，例如基于关键词的检索器和基于语义的检索器，以提高检索结果的多样性。2) 门控奖励函数的设计：设计多阶段门控奖励函数，根据模型在证据评估、证据提取和回复/拒绝等不同阶段的表现给予不同的奖励，引导模型学习最优策略。3) 强化学习算法的选择：选择合适的强化学习算法，例如Proximal Policy Optimization (PPO)，以训练模型学习最优策略。

📊 实验亮点

GRACE 在两个基准测试上取得了最先进的整体准确率，并在准确回复和拒绝回答之间取得了良好的平衡。更重要的是，GRACE 仅需先前方法 10% 的标注成本，这大大降低了训练成本，使其更具实用性。实验结果表明，GRACE 能够有效地缓解 RAG 系统中证据不足和捏造信息的问题。

🎯 应用场景

GRACE 可应用于各种需要可靠信息回复的场景，例如智能客服、问答系统、医疗诊断辅助等。通过提高回复的准确性和可靠性，GRACE 可以增强用户对系统的信任，并减少错误信息带来的潜在风险。未来，GRACE 可以进一步扩展到多模态数据，例如图像和视频，以支持更复杂的应用场景。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) integrates external knowledge to enhance Large Language Models (LLMs), yet systems remain susceptible to two critical flaws: providing correct answers without explicit grounded evidence and producing fabricated responses when the retrieved context is insufficient. While prior research has addressed these issues independently, a unified framework that integrates evidence-based grounding and reliable abstention is currently lacking. In this paper, we propose GRACE, a reinforcement-learning framework that simultaneously mitigates both types of flaws. GRACE employs a data construction method that utilizes heterogeneous retrievers to generate diverse training samples without manual annotation. A multi-stage gated reward function is then employed to train the model to assess evidence sufficiency, extract key supporting evidence, and provide answers or explicitly abstain. Experimental results on two benchmarks demonstrate that GRACE achieves state-of-the-art overall accuracy and strikes a favorable balance between accurate response and rejection, while requiring only 10% of the annotation costs of prior methods. Our code is available at https://github.com/YiboZhao624/Grace..