CalibraRL: Confidence-Calibrated Reinforcement Learning for Mitigating Hallucinations in RAG

📄 arXiv: 2610.35142v1 📥 PDF

作者: Qianchi Zhang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng

分类: cs.CL

发布日期: 2026-10-26

备注: 12 pages, 10 figures

💡 一句话要点

提出CalibraRL以解决RAG中的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 问答系统 置信度校准 幻觉现象 数据集 模型可靠性

📋 核心要点

  1. 现有方法无法有效区分不同置信水平的错误，导致过于自信的错误未被充分惩罚。
  2. CalibraRL通过结合正确性效用和基于Brier的惩罚，设计了更为精确的奖励机制。
  3. 实验结果显示，CalibraRL在多个数据集上显著提高了答案的精确度，减少了幻觉现象。

📝 摘要（中文）

大型语言模型（LLMs）常常生成看似合理但实际上错误的答案，这促使了强化学习方法的发展，这些方法奖励正确答案、惩罚错误答案并允许放弃。然而，固定的基于结果的奖励无法区分不同置信水平的错误响应，也未能考虑不同查询的回答可靠性。因此，这种奖励可能不足以惩罚过于自信的错误，并未能有效阻止不必要的放弃。我们提出了CalibraRL，一个强化学习框架，将响应置信度和查询级别的回答证据纳入奖励设计中。实验表明，CalibraRL在三个问答数据集上提高了答案的准确性并减少了幻觉现象。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在回答问题时产生的幻觉现象，现有方法未能有效区分不同置信水平的错误，导致过于自信的错误未被充分惩罚，且未能有效阻止不必要的放弃。

核心思路：CalibraRL的核心思路是将响应的置信度和查询级别的回答证据纳入奖励设计中，通过结合正确性效用和Brier惩罚来鼓励置信度与正确性的一致性，从而提高回答的可靠性。

技术框架：CalibraRL的整体架构包括两个主要模块：一是对非放弃响应的奖励设计，结合正确性效用和Brier惩罚；二是对放弃响应的奖励设计，基于Beta后验估计回答的可靠性。

关键创新：CalibraRL的创新在于其奖励机制的设计，能够根据响应的置信度和正确性动态调整惩罚，显著改善了现有方法在处理不确定性时的表现。

关键设计：在奖励设计中，非放弃响应的奖励结合了正确性效用和Brier惩罚，而放弃响应的奖励则基于Beta后验概率，随着模型在非放弃响应上的准确性低于预设阈值的后验概率增加而增加。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CalibraRL在三个问答数据集上显著提高了答案的精确度，减少了幻觉现象，并且在两个基础模型和三个数据集上，平均期望校准误差（ECE）降低了30.8%。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、搜索引擎和对话系统等，能够有效提高模型在复杂查询下的回答可靠性，减少错误信息的传播，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) often produce plausible but incorrect answers, motivating reinforcement learning methods that reward correct answers, penalize incorrect answers, and allow abstention. However, fixed outcome-based rewards do not distinguish incorrect responses with different confidence levels or account for differences in answering reliability across queries. Consequently, such rewards may inadequately penalize overconfident errors and fail to discourage unnecessary abstention. We propose CalibraRL, a reinforcement learning framework that incorporates response confidence and query-level answering evidence into reward design. For non-abstaining responses, CalibraRL combines correctness-based utility with a Brier-based penalty that encourages agreement between confidence and correctness. For abstentions, it estimates conditional answering reliability using a Beta posterior derived from the correctness of non-abstaining responses within each sampled group. The abstention reward increases with the posterior probability that the model's accuracy on non-abstaining responses is below a predefined threshold. CalibraRL reuses training rollouts without requiring additional annotations indicating whether the model knows the answer to each question. Experiments on three QA datasets demonstrate that CalibraRL improves answer precision and reduces hallucinations compared with strong baselines. Further analysis shows that CalibraRL reduces mean expected calibration error (ECE) by 30.8\% across two backbone models and three datasets, highlighting its potential to improve the reliability of retrieval-augmented generation (RAG) in web search.