Timbre: Reliability-aware harmonic consensus for label-free multimodal test-time rexinforcement learning
作者: Haotian Lyu, Haoyu Wang, Ru Wang, Feng Ji, Ziwen Li, Jiaxian Guo, Mingming Gong
分类: cs.AI
发布日期: 2026-10-29
💡 一句话要点
提出可靠性感知的谐波共识框架解决无标签多模态强化学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无标签学习 多模态学习 强化学习 谐波聚合 可靠性感知 视觉-语言模型 适应性学习
📋 核心要点
- 现有的无标签测试时强化学习方法在处理视觉证据时容易产生误解，导致错误的共识形成。
- 本文提出的谐波共识框架通过加权聚合和可靠性信号来选择伪标签，从而提高模型的适应性。
- 在六个基准测试和三种Qwen3-VL模型规模下，该方法在大多数设置中超越了现有的TTRV方法，显示出显著的性能提升。
📝 摘要（中文）
无标签测试时强化学习通过自身预测的奖励来适应视觉-语言模型。然而，错误的视觉证据解读和对文本表述的敏感性可能导致一致但错误的共识，进而被多数投票强化。交叉视图聚合可以暴露这些错误，但图像和文本的变换可能会以不同程度降低任务相关证据。本文提出了一种可靠性感知的谐波共识框架，构建了一个$2 imes2$网格，结合原始和扰动图像，通过加权谐波聚合选择伪标签，并利用批量平均、时间平滑的伪标签置信度变化作为启发式可靠性信号。实验结果表明，该方法在多个基准测试中显著优于现有方法。
🔬 方法详解
问题定义：本文旨在解决无标签测试时强化学习中由于视觉证据误解和文本表述敏感性导致的错误共识问题。现有方法在多数投票中容易强化这些错误，影响模型适应性。
核心思路：提出的谐波共识框架通过构建$2 imes2$网格，结合原始和扰动图像，利用加权谐波聚合选择伪标签，并通过置信度变化调整模态权重，以此提高模型的可靠性和适应性。
技术框架：整体架构包括图像和文本的原始与扰动版本，通过直接求解和重构模式进行处理，最终通过加权$χ^2$-重心问题实现共识聚合。主要模块包括伪标签选择、模态权重调整和置信度信号计算。
关键创新：最重要的创新在于引入了可靠性感知的谐波聚合方法，能够在不依赖正确答案不变性的情况下，优化伪标签的选择和模态权重的调整。
关键设计：关键设计包括使用批量平均和时间平滑的伪标签置信度变化作为可靠性信号，以及通过支持-离散分解分析聚合的保留或修正算术排名的条件。
🖼️ 关键图片
📊 实验亮点
在六个基准测试和三种Qwen3-VL模型规模下，提出的方法在18个适应实例中有16个超越了TTRV，在18个持出实例中有17个设置表现优异，显示出显著的适应性和转移能力提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能监控和人机交互等场景，能够在缺乏标签数据的情况下有效提升模型的适应性和性能。未来，该方法可能为无监督学习和自适应系统的发展提供新的思路和技术支持。
📄 摘要（原文）
Label-free test-time reinforcement learning adapts vision--language models using rewards derived from their own predictions. However, misinterpreted visual evidence and sensitivity to textual formulation can produce a consistent but incorrect consensus that majority voting reinforces. Cross-view aggregation can expose such errors, but image and text transformations may themselves degrade task-relevant evidence to different extents. We introduce \method, a reliability-aware harmonic consensus framework for multimodal test-time reinforcement learning. \method constructs a $2\times2$ grid combining original and perturbed images with direct-solving and reframing modes, selects pseudo-labels through weighted harmonic aggregation, and adapts modality-level weights using batch-averaged, temporally smoothed shifts in pseudo-label confidence as a heuristic reliability signal. We formulate consensus as a weighted $χ^2$-barycenter problem whose unique minimizer is the normalized weighted harmonic aggregate, without requiring correct-answer invariance. An exact support--dispersion decomposition characterizes when harmonic aggregation preserves or corrects arithmetic rankings, while a sensitivity analysis establishes how modality reweighting changes pairwise ranking margins, informing interpretation of the heuristic updates. Across six benchmarks and three Qwen3-VL model scales, \method outperforms TTRV in 16 of 18 benchmark--model settings on adaptation instances and 17 of 18 settings on held-out instances under matched estimation and optimization rollout counts. These results demonstrate improved target-task adaptation and transfer to unseen instances without further updates.