Reinforcement Learning Done Right for Explicit Confidence Targets

📄 arXiv: 2610.35059v1 📥 PDF

作者: Zefeng He, Yichen He, Yuan Lin, Yang Yang, Yu Cheng

分类: cs.LG, cs.CL

发布日期: 2026-10-26

备注: 22 pages, 13 figures

💡 一句话要点

提出RLEC以解决大语言模型的信心目标控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 显式信心目标 强化学习 大型语言模型 模型校准 决策支持 自然语言处理 用户交互

📋 核心要点

  1. 现有方法在处理显式信心目标时存在困难，无法有效区分不同的信心要求。
  2. RLEC通过引入稳定的奖励机制和奖励调度，保持学习信号并平衡学习效果与训练稳定性。
  3. 实验结果表明，RLEC在多种基准测试中保持了模型的通用能力，并实现了优异的校准性能。

📝 摘要（中文）

大型语言模型（LLMs）在不确定时可能产生看似合理但错误的答案，这会误导用户并削弱模型的可靠性。通过强化学习训练模型进行放弃决策是一种自然的方法，但现有大多数方法使用固定的错误惩罚，无法根据推理时的不同信心要求调整行为。本文研究了显式信心目标，用户在提示中指定目标概率p，模型直接选择回答或放弃，目标是在回答的问题中实现至少p的准确率。我们提出的RLEC（显式信心目标的强化学习）解决了现有方法的不足，成功训练出单一LLM以控制显式信心目标，并在多个基准和模型规模上进行了广泛实验，显示出良好的通用能力和竞争力的校准性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对显式信心目标时的响应问题。现有方法由于固定的错误惩罚，无法适应不同的信心要求，导致模型性能下降。

核心思路：RLEC通过引入显式信心目标的概念，使用户能够指定目标概率p，模型根据该目标选择回答或放弃，从而实现更灵活的控制。

技术框架：RLEC的整体架构包括奖励信号的设计、奖励调度机制和模型训练过程。首先，设计了稳定的奖励信号以区分不同的信心目标；其次，通过调度奖励来平衡学习效果与训练的稳定性。

关键创新：RLEC的主要创新在于引入了显式信心目标的概念，并通过优化奖励机制解决了现有方法无法有效区分信心目标的问题。这种设计使得模型能够在训练过程中直接学习到不同的信心要求。

关键设计：在RLEC中，奖励信号的设计确保了在不同p值下的学习信号不丢失，同时采用了动态的奖励调度策略，以适应不同的训练阶段和目标需求。

📊 实验亮点

实验结果显示，RLEC在多个基准测试中表现出色，保持了模型的通用能力，并在校准性能上与现有最优基线相比具有竞争力。具体而言，RLEC在不同信心目标下的准确率显著提高，展示了其在细粒度目标控制方面的优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话系统以及任何需要高可靠性和准确性的自然语言处理任务。通过使显式信心目标成为训练策略的一部分，RLEC为模型的行为校准提供了新的直接路径，未来可能在用户交互和决策支持系统中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) can produce plausible but incorrect answers when they are uncertain, which can mislead users and undermine model reliability. Training models to abstain with reinforcement learning is a natural approach, but most existing methods use a fixed error penalty and therefore cannot adapt their behavior to different confidence requirements at inference time. We study \emph{explicit confidence targets}, where a user specifies a target (p) in the prompt and the model directly chooses whether to answer or abstain, with the goal of achieving an accuracy of at least (p) among answered questions. However, learning to respond to different confidence targets with a single model has proven difficult, and prior attempts have failed to distinguish different targets. We show that this failure comes from two problems: the reward signal that distinguishes different values of $p$ is often lost during optimization, while the original error penalty grows without bound as $p$ approaches one. We propose RLEC (\textbf{R}einforcement \textbf{L}earning with \textbf{E}xplicit \textbf{C}onfidence Targets), which preserves the learning signal needed to distinguish confidence targets, introduces a stable reward family that keeps the desired answer condition unchanged, and uses reward scheduling to balance effective learning and training stability. Together, these designs enable the first successful training of a single LLM for explicit confidence target control. Extensive experiments across diverse benchmarks and model scales show that RLEC largely preserves general capabilities and achieves competitive calibration performance. RLEC also supports fine-grained target control without an external decision system or threshold calibration after training. By making explicit confidence targets part of the trained policy, RLEC opens a new and more direct path toward behavioral calibration.