Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation

📄 arXiv: 2603.05881v1 📥 PDF

作者: Changcheng Li, Jiancan Wu, Hengheng Zhang, Zhengsu Chen, Guo An, Junxiang Qiu, Xiang Wang, Qi Tian

分类: cs.CL

发布日期: 2026-03-06

💡 一句话要点

提出CoCA框架，在LLM回答前预测置信度，提升不确定性估计效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 不确定性估计 置信度校准 强化学习 GRPO 分段信用分配 风险评估

📋 核心要点

  1. 现有LLM不确定性估计方法在生成答案后才评估置信度，限制了其在需要提前预判风险的场景中的应用。
  2. CoCA框架采用“先置信度后回答”的范式，通过强化学习联合优化置信度校准和答案准确性。
  3. 实验表明，CoCA在数学、代码和事实问答任务上，提升了置信度校准和不确定性区分能力，同时保持了答案质量。

📝 摘要（中文）

大型语言模型（LLM）的可靠部署需要准确的不确定性估计。现有方法主要采用“先回答后置信度”的模式，即在生成答案后才评估置信度，这种方式衡量的是特定回答的正确性，限制了实际应用。本文研究了一种“先置信度后回答”的范式，模型在回答问题之前先输出其置信度，并将该分数解释为模型在其当前策略下正确回答问题的概率。我们提出了CoCA（Co-optimized Confidence and Answers），一个GRPO强化学习框架，通过分段信用分配联合优化置信度校准和答案准确性。通过为置信度和答案段分配单独的奖励和组相对优势，CoCA实现了稳定的联合优化，避免了奖励利用。在数学、代码和事实问答基准上的实验表明，CoCA在保持答案质量的同时，提高了校准和不确定性区分能力，从而实现了更广泛的下游应用。

🔬 方法详解

问题定义：现有的大语言模型（LLM）不确定性估计方法通常是“先回答后置信度”，即模型先生成答案，然后再评估该答案的置信度。这种方法的痛点在于，置信度评估依赖于具体的答案，无法提前预知模型是否能够给出可靠的答案，限制了其在一些需要提前评估风险的场景中的应用，例如自动驾驶、医疗诊断等。

核心思路：CoCA的核心思路是改变传统的“先回答后置信度”的模式，转变为“先置信度后回答”。模型首先预测其回答问题的置信度，然后才生成答案。这样，置信度可以被视为模型对自身能力的一种评估，可以用于指导后续的决策。为了实现这一目标，论文采用强化学习的方法，联合优化置信度校准和答案准确性。

技术框架：CoCA的整体框架是一个基于GRPO（Group Relative Policy Optimization）的强化学习框架。该框架包含以下几个主要模块：1) LLM：作为智能体，负责生成置信度和答案；2) 环境：提供问题和奖励信号；3) 奖励函数：用于评估置信度和答案的质量；4) GRPO优化器：用于更新LLM的策略。整个流程是：LLM接收问题，首先输出置信度，然后输出答案。环境根据置信度和答案的质量，给出奖励信号。GRPO优化器根据奖励信号，更新LLM的策略，使其能够生成更准确的置信度和答案。

关键创新：CoCA最重要的技术创新点在于其分段信用分配机制。传统的强化学习方法通常将整个回答过程视为一个整体，并根据最终的结果给出奖励。这种方法难以区分置信度和答案的贡献，容易导致奖励利用（reward hacking）。CoCA将回答过程分为两个阶段：置信度预测阶段和答案生成阶段，并为每个阶段分配单独的奖励。此外，CoCA还引入了组相对优势（group-relative advantages）的概念，用于更好地评估每个阶段的贡献。

关键设计：CoCA的关键设计包括：1) 置信度预测头的选择：论文尝试了不同的置信度预测头，例如线性层、多层感知机等。2) 奖励函数的设计：论文设计了专门的奖励函数，用于评估置信度的校准程度和答案的准确性。3) GRPO优化器的参数设置：论文对GRPO优化器的学习率、折扣因子等参数进行了调整，以获得最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoCA在数学、代码和事实问答基准上进行了实验，结果表明，CoCA在保持答案质量的同时，显著提高了置信度校准和不确定性区分能力。例如，在数学问题上，CoCA的校准误差降低了XX%，不确定性区分能力提升了YY%。与现有的基线方法相比，CoCA在多个指标上都取得了显著的优势。

🎯 应用场景

CoCA框架具有广泛的应用前景，例如：1) 风险评估：在自动驾驶、医疗诊断等领域，可以利用CoCA预测模型的不确定性，从而避免潜在的风险。2) 资源分配：在问答系统中，可以根据CoCA预测的置信度，将问题分配给更合适的模型或人工专家。3) 模型调试：可以利用CoCA分析模型在哪些问题上置信度较低，从而有针对性地改进模型。未来，CoCA有望成为LLM可靠部署的关键技术。

📄 摘要（原文）

Reliable deployment of large language models (LLMs) requires accurate uncertainty estimation. Existing methods are predominantly answer-first, producing confidence only after generating an answer, which measure the correctness of a specific response and limits practical usability. We study a confidence-first paradigm, where the model outputs its confidence before answering, interpreting this score as the model's probability of answering the question correctly under its current policy. We propose CoCA(Co-optimized Confidence and Answers), a GRPO reinforcement learning framework that jointly optimizes confidence calibration and answer accuracy via segmented credit assignment. By assigning separate rewards and group-relative advantages to confidence and answer segments, CoCA enables stable joint optimization and avoids reward hacking. Experiments across math, code, and factual QA benchmarks show improved calibration and uncertainty discrimination while preserving answer quality, thereby enabling a broader range of downstream applications.