Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

📄 arXiv: 2607.01612v1 📥 PDF

作者: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

分类: cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出C3RL与CAS以解决LLMs信心校准问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信心校准 强化学习 自适应推理 多模态数据集 计算资源优化

📋 核心要点

  1. 现有的强化学习方法在训练LLMs时，主要关注响应的正确性，导致信心与准确性之间的校准不佳。
  2. 本文提出C3RL算法，结合了正确性、校准和参考准确性奖励，旨在改善LLMs的信心表达。
  3. 实验结果显示，C3RL在多个数据集上提升了校准效果，并且引入的CAS策略在推理效率上显著优于传统方法。

📝 摘要（中文）

训练大型语言模型（LLMs）时，现有的强化学习（RL）奖励设计通常优先考虑响应的正确性，而忽视了模型准确表达信心的重要性。这导致了信心与准确性之间的校准不佳，模型在不确定时容易产生过度自信的幻觉。为了解决这一问题，本文提出了正确性与信心校准强化学习（C3RL），该算法结合了正确性、校准和数据集参考准确性奖励。通过对8个文本和多模态数据集的全面评估，C3RL在不牺牲准确性的情况下提升了校准效果，超越了当前最先进的方法。此外，基于C3RL的良好校准信心，本文进一步引入了信心基础的自适应测试时间缩放（CAS），该策略根据响应信心动态分配计算资源，实验表明CAS在多个数据集上表现优于多数投票，同时将推理预算减少了最多12.33倍。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理时信心表达不准确的问题。现有的强化学习方法往往只关注正确性，导致模型在不确定时表现出过度自信的现象。

核心思路：C3RL算法通过引入校准机制，结合正确性和参考准确性奖励，鼓励模型在做出响应时准确表达其信心，从而改善信心与准确性之间的关系。

技术框架：C3RL的整体架构包括三个主要模块：正确性奖励模块、校准奖励模块和参考准确性模块。通过这三个模块的协同作用，模型能够在训练过程中逐步学习到更准确的信心表达。

关键创新：C3RL的核心创新在于将信心校准引入到强化学习框架中，这是与现有方法的本质区别，后者通常只关注正确性而忽略信心的表达。

关键设计：在C3RL中，设计了特定的损失函数来平衡正确性和校准奖励，同时采用了数据集特定的参考准确性，以增强模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，C3RL在多个文本和多模态数据集上显著提升了校准效果，且在准确性指标上未出现下降。同时，CAS策略在推理效率上超越了传统的多数投票方法，推理预算减少了最多12.33倍，显示出其在资源利用上的优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话系统和信息检索等。通过提高模型的信心校准，能够在实际应用中提供更可靠的响应，减少错误信息的传播。此外，CAS策略的引入使得在资源受限的环境中，LLMs能够更高效地运行，具有重要的实际价值。

📄 摘要（原文）

Training large language models (LLMs) with reinforcement learning (RL) has significantly advanced their performance on reasoning and question-answering tasks. However, prevailing RL reward designs typically prioritize response correctness, neglecting to incentivize models to express their confidence accurately. This leads to a critical problem: performance gains are often accompanied by poor calibration between confidence and accuracy, misleading models to overconfidently hallucinate when uncertain. To address this limitation, we propose $\textbf{C}$orrectness and $\textbf{C}$onfidence $\textbf{C}$alibration $\textbf{R}$einforcement $\textbf{L}$earning ($\textbf{C3RL}$), a novel RL algorithm integrating correctness, calibration and dataset-informed reference accuracy rewards together. Comprehensive evaluation across 8 text and multimodal datasets demonstrates that C3RL enhances calibration without sacrificing accuracy, outperforming the current state-of-the-art method in both performance and calibration metrics. Utilizing the well-calibrated verbalized confidence from C3RL, we further introduce $\textbf{C}$onfidence-based $\textbf{A}$daptive Test Time $\textbf{S}$caling ($\textbf{CAS}$), an adjustable inference-time strategy that allocates computational resources based on response confidence. Experiments show that CAS surpasses majority voting on both in-domain and out-of-domain datasets while reducing the inference budget by up to 12.33 times. We believe the synergy of C3RL and CAS paves the way for deploying more reliable and resource-efficient LLMs. The code, data and models will be released.