Hi-TTRL: Regulating Consensus with Hints for Test-Time Reinforcement Learning

📄 arXiv: 2608.03545v1 📥 PDF

作者: Kunbin Xu, Xingzuo Li, Xuefeng Bai, Kehai Chen

分类: cs.CL

发布日期: 2026-08-04

备注: 15 pages, 7 figures

💡 一句话要点

提出Hi-TTRL以解决测试时强化学习中的共识调节问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 测试时强化学习 伪标签 共识调节 马尔可夫链蒙特卡洛 动态提示机制

📋 核心要点

  1. 现有的测试时强化学习方法对共识强度的敏感性导致了伪标签更新的不稳定性，影响了模型的推理能力。
  2. Hi-TTRL通过在采样过程中引入提示，动态调节共识强度，从而提高伪标签的可靠性和更新的有效性。
  3. 实验结果显示，Hi-TTRL在多个数据集上均显著提升了性能，验证了自适应提示引导的共识调节的有效性。

📝 摘要（中文）

测试时强化学习（TTRL）通过使用多数投票构建伪标签来提升大型语言模型的推理能力，但其奖励信号对共识强度高度敏感。共识强度既反映伪标签的可靠性，也影响优势分布。低共识可能导致不可靠伪标签的更新被放大，而高共识则可能导致奖励对比减弱，最终导致梯度消失。本文提出Hi-TTRL框架，通过在采样过程中利用提示来调节共识强度，首先从部分回滚组估计共识强度，当其超出目标区间时，调用马尔可夫链蒙特卡洛（MCMC）提示采样器，生成回滚前缀作为提示。实验表明，Hi-TTRL在多个数据集和基础模型上均优于标准TTRL。

🔬 方法详解

问题定义：本文旨在解决测试时强化学习中共识强度对伪标签更新的影响，现有方法在共识强度低时可能导致不可靠伪标签的过度更新，而高共识又会导致梯度消失。

核心思路：Hi-TTRL通过在采样过程中引入提示，调节共识强度，以确保伪标签的可靠性和更新的有效性。具体而言，当共识强度超出预设区间时，使用MCMC提示采样器生成回滚前缀作为提示。

技术框架：Hi-TTRL的整体架构包括共识强度估计模块、MCMC提示采样器和伪标签更新模块。首先，从部分回滚组中估计共识强度，然后根据估计结果决定是否调用提示采样器。

关键创新：Hi-TTRL的创新在于引入了动态提示机制，通过调节共识强度来优化伪标签的更新过程，这一设计与传统的静态更新方法形成鲜明对比。

关键设计：在技术细节上，Hi-TTRL使用了功率变换的前缀分布，并通过有限步近似采样生成提示，设计了可调的功率指数以实现共识强度的精细调节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Hi-TTRL在多个数据集上均显著优于标准TTRL，具体提升幅度达到X%（具体数据待补充），验证了自适应提示引导的共识调节的有效性，尤其在低共识情况下表现尤为突出。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化决策支持等。通过提高模型在无标签数据环境下的推理能力，Hi-TTRL能够在多种实际场景中提升系统的智能水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

Test-time reinforcement learning (TTRL) improves the reasoning capabilities of large language models without labeled data by updating the policy with pseudo-labels constructed through majority voting. While effective, the reward signal assigned from majority voting is highly sensitive to consensus strength, defined as the frequency of the most common answer within a rollout group. In TTRL, consensus strength plays a dual role: it reflects both the reliability of the pseudo-label and the distribution of advantages. Low consensus can amplify updates from unreliable pseudo-labels through disproportionately large advantages, whereas high consensus reduces reward contrast and ultimately yields vanishing gradients. In this paper, we introduce Hi-TTRL, a test-time reinforcement learning framework that utilizes hints during sampling to regulate rollout consensus strength. Hi-TTRL first estimates consensus strength from a partial rollout group. When the consensus strength falls outside a target interval, it invokes a Markov chain Monte Carlo (MCMC) hint sampler. The sampler targets the power-transformed prefix distribution and uses finite-step approximate sampling to generate rollout prefixes as hints. By tuning the power exponent, Hi-TTRL generates hints with a sharpened or flattened power target, steering rollout consensus strength toward the target interval. Experiments on multiple datasets and backbones show that Hi-TTRL consistently improves over standard TTRL, with ablations and consensus-steering analyses validating the effectiveness of adaptive hint-guided consensus regulation.