Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

📄 arXiv: 2607.01612 📥 PDF

作者: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出C3RL与CAS以解决LLMs信心校准问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信心校准 强化学习 自适应推理 多模态数据集

📋 核心要点

  1. 现有的强化学习方法在训练LLMs时，往往只关注响应的正确性，导致信心与准确性之间的校准不佳。
  2. 本文提出C3RL算法，通过结合正确性、校准和参考准确性奖励，来提升模型的信心表达能力。
  3. 实验结果显示，C3RL在多个数据集上提升了校准效果，并且CAS策略在推理时显著减少了计算资源的使用。

📝 摘要（中文）

训练大型语言模型（LLMs）时，现有的强化学习（RL）奖励设计通常优先考虑响应的正确性，而忽视了模型准确表达信心的重要性。这导致信心与准确性之间的校准不佳，模型在不确定时容易过于自信地产生幻觉。为了解决这一问题，本文提出了正确性与信心校准强化学习（C3RL），该算法结合了正确性、校准和数据集参考准确性奖励。通过在8个文本和多模态数据集上的全面评估，C3RL在不牺牲准确性的情况下提升了校准效果，超越了当前的最先进方法。基于C3RL的良好校准信心，进一步提出了信心基础的自适应测试时间缩放（CAS），该策略根据响应信心分配计算资源，实验表明CAS在减少推理预算的同时，超越了多数投票方法。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理时信心表达不准确的问题。现有方法往往只关注模型的正确性，导致模型在不确定时表现出过度自信的现象。

核心思路：提出C3RL算法，通过引入信心校准机制，结合正确性和参考准确性奖励，促使模型在训练过程中更准确地表达其信心。

技术框架：C3RL的整体架构包括三个主要模块：正确性奖励、信心校准奖励和数据集参考准确性奖励。模型在训练时同时优化这三个模块，以实现更好的信心校准。

关键创新：C3RL的创新在于将信心校准纳入强化学习框架中，区别于传统方法仅关注响应的正确性，从而有效提升了模型在不确定情况下的表现。

关键设计：在C3RL中，设计了特定的损失函数来平衡正确性和信心校准，同时使用了多模态数据集进行训练，以增强模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，C3RL在多个文本和多模态数据集上显著提升了模型的信心校准，且在准确性指标上未见下降。此外，CAS策略在推理时的计算资源使用效率提高了12.33倍，超越了传统的多数投票方法。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话机器人和信息检索等。通过提升LLMs的信心校准能力，可以使其在实际应用中更可靠，减少错误信息的传播，进而提高用户体验和信任度。

📄 摘要（原文）

Training large language models (LLMs) with reinforcement learning (RL) has significantly advanced their performance on reasoning and question-answering tasks. However, prevailing RL reward designs typically prioritize response correctness, neglecting to incentivize models to express their confidence accurately. This leads to a critical problem: performance gains are often accompanied by poor calibration between confidence and accuracy, misleading models to overconfidently hallucinate when uncertain. To address this limitation, we propose $\textbf{C}$orrectness and $\textbf{C}$onfidence $\textbf{C}$alibration $\textbf{R}$einforcement $\textbf{L}$earning ($\textbf{C3RL}$), a novel RL algorithm integrating correctness, calibration and dataset-informed reference accuracy rewards together. Comprehensive evaluation across 8 text and multimodal datasets demonstrates that C3RL enhances calibration without sacrificing accuracy, outperforming the current state-of-the-art method in both performance and calibration metrics. Utilizing the well-calibrated verbalized confidence from C3RL, we further introduce $\textbf{C}$onfidence-based $\textbf{A}$daptive Test Time $\textbf{S}$caling ($\textbf{CAS}$), an adjustable inference-time strategy that allocates computational resources based on response confidence. Experiments show that CAS surpasses majority voting on both in-domain and out-of-domain datasets while reducing the inference budget by up to 12.33 times. We believe the synergy of C3RL and CAS paves the way for deploying more reliable and resource-efficient LLMs. The code, data and models will be released.