Test-Time Confidence Adaptation under RL-Induced Trajectory Shift

📄 arXiv: 2610.35500v1 📥 PDF

作者: Zhenzhen Ren, Xiaoqing Zhang, GuoBiao Li, Bowen Fang, Yanxi Wang, Xinpeng Zhang, Ke Han

分类: cs.AI

发布日期: 2026-10-26

💡 一句话要点

提出StaR-TTA以解决RL引起的轨迹偏移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 置信度估计 强化学习 轨迹分析 无标签学习 自然语言处理 问答系统 模型适应

📋 核心要点

  1. 现有的轨迹基础置信度估计在Agentic RL后性能显著下降，导致置信度不可靠。
  2. 提出的StaR-TTA框架利用稳定性引导的可靠性信号，实现无标签的置信度适应。
  3. 在四个问答基准上，StaR-TTA的平均AUROC达到0.721，表现出一致的性能提升。

📝 摘要（中文）

基于轨迹的置信度估计在大型语言模型（LLMs）中表现出色，但在代理强化学习（Agentic RL）后，置信度估计器的性能显著下降。研究发现，尽管存在轨迹偏移，稳定的轨迹仍然更可能产生正确答案。基于这一发现，提出了StaR-TTA框架，实现了无标签的测试时置信度适应。该方法在四个问答基准上平均AUROC达到0.721，且在未见数据集、模型系列和不同Agentic RL算法中均有一致提升。

🔬 方法详解

问题定义：本论文旨在解决在代理强化学习（Agentic RL）引起的轨迹偏移后，置信度估计器性能下降的问题。现有方法在这种情况下无法有效适应，导致置信度不可靠。

核心思路：论文提出的StaR-TTA框架利用稳定的轨迹与答案可靠性之间的关系，进行无标签的测试时置信度适应。通过从基础模型的标记轨迹中学习稳定性和正确性监督，建立稳定性与答案可靠性之间的联系。

技术框架：StaR-TTA框架主要包括两个阶段：首先在标记的基础轨迹上进行学习，获取稳定性和正确性监督；其次在测试阶段，利用无标签的RL轨迹中的稳定性引导的可靠性排名来调整置信度分数。

关键创新：最重要的创新在于发现并利用了稳定轨迹与答案正确性之间的关系，提供了一种无标签的可靠性信号，从而实现了置信度的有效适应。这一方法与传统的依赖标签的适应方法本质上不同。

关键设计：在设计中，采用了稳定性导向的损失函数，确保模型在学习过程中能够有效捕捉到轨迹的稳定性特征。此外，网络结构经过优化，以便更好地处理不同模型和算法的适应性需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，StaR-TTA在四个问答基准上实现了平均AUROC值为0.721，显示出在未见数据集和不同模型系列上的一致性能提升。与基线相比，StaR-TTA在不同Agentic RL算法下均表现出显著的改进，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统以及其他需要置信度评估的智能应用。通过提高置信度的可靠性，StaR-TTA能够增强模型在实际应用中的表现，尤其是在面对动态变化的输入分布时，具有重要的实际价值和未来影响。

📄 摘要（原文）

Trajectory-based confidence estimation has shown promising performance for large language models (LLMs) by leveraging rich signals from their reasoning processes. However, we find that such confidence estimators can degrade substantially after agentic reinforcement learning (Agentic RL) as it induces substantial shifts in the reasoning trajectories. More importantly, despite these shifts, we uncover a reliability structure that is largely preserved across Base and RL models: $\textbf{more}$ $\textbf{stable}$ $\textbf{trajectories}$ $\textbf{remain}$ $\textbf{more}$ $\textbf{likely}$ $\textbf{to}$ $\textbf{produce}$ $\textbf{correct}$ $\textbf{answers}$. This preserved relationship provides a transferable, label-free reliability signal for post-RL confidence adaptation. Building on this finding, we propose $\textbf{StaR-TTA}$, a stability-guided framework for label-free test-time confidence adaptation. StaR-TTA jointly learns from correctness supervision and stability-derived reliability supervision on labeled Base trajectories, establishing the connection between trajectory stability and answer reliability. At test time, it reuses stability-induced reliability rankings from unlabeled RL trajectories to adapt confidence scores to the shifted trajectory distribution, without requiring target correctness labels. Across four QA benchmarks, StaR-TTA achieves an average AUROC of (0.721), with consistent improvements across unseen datasets, model families and scales, and different Agentic RL algorithms.