On Test-Time Scaling for Vision-Language Models

📄 arXiv: 2606.28864 📥 PDF

作者: Fawaz Sammani, Tzoulio Chamiti, Nikos Deligiannis

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出测试时间缩放方法以提升视觉语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 测试时间缩放 多模态学习 性能优化 推理链分析

📋 核心要点

  1. 现有的测试时间缩放方法主要针对大型语言模型，缺乏对视觉语言模型的深入分析与应用。
  2. 本文提出了对LVLMs进行测试时间缩放的全面研究，探索其在不同模型和基准下的表现。
  3. 实验结果表明，小型模型在测试时间缩放中获得了最高的性能提升，达到30%的提升幅度。

📝 摘要（中文）

测试时间缩放是一种在推理阶段利用额外计算资源以提升大模型性能的范式，而无需更改模型权重。尽管这一方法在大型语言模型（LLMs）中得到了广泛研究，但其在大型视觉语言模型（LVLMs）中的适用性仍然较少被探讨。本文首次全面研究了LVLMs的测试时间缩放，涵盖多种模型和模型规模、九种测试时间缩放方法以及六个多样化的基准测试。研究发现，小型高效模型在测试时间缩放中受益最大，性能提升可达30%，并且在某些情况下超越大型模型。此外，LVLMs在计算资源过多时会失去焦点，视觉信息在推理链中早期编码，之后推理主要由文本驱动，图像信息的贡献显著下降。本文的发现为LVLMs的研究和应用提供了实用指导。

🔬 方法详解

问题定义：本文旨在探讨现有的测试时间缩放方法是否可以直接应用于视觉语言模型（LVLMs），并分析其效果与适用性。现有方法主要集中在大型语言模型（LLMs），缺乏对LVLMs的系统研究。

核心思路：研究通过对多种LVLMs进行测试时间缩放的实验，评估其在不同模型和基准下的性能表现，提出小型模型在此过程中可能获得更大收益的假设。

技术框架：研究设计了一个实验框架，涵盖九种不同的测试时间缩放方法，并在六个多样化的基准上进行评估。实验涉及多种模型和模型规模，以全面分析其性能。

关键创新：本文的创新在于首次系统性地研究了LVLMs的测试时间缩放，发现小型模型在此过程中表现优异，且在计算资源过多时会导致性能下降。

关键设计：在实验中，设置了不同的计算资源配置，并分析了推理链中视觉信息与文本信息的贡献，揭示了图像信息在推理过程中的早期编码特性。通过细致的实验设计，确保了结果的可靠性与有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，小型高效模型在测试时间缩放中性能提升可达30%，在某些情况下超越大型模型。此外，LVLMs在计算资源过多时表现出性能下降，强调了合理配置计算资源的重要性。

🎯 应用场景

该研究为视觉语言模型的实际应用提供了重要的指导，尤其是在需要高效推理的场景中，如自动驾驶、智能监控和人机交互等领域。通过优化模型的推理过程，可以显著提升系统的响应速度与准确性，推动相关技术的商业化进程。

📄 摘要（原文）

Test-time scaling is a paradigm where large models use additional compute at inference to achieve better performance, without changing model weights. While it has been widely studied for Large Language Models (LLMs), its applicability to Large Vision-Language Models (LVLMs) remains less explored and analyzed, with limited analysis of whether, when, and to what extent these approaches transfer to LVLMs. In this work, we ask a simple but fundamental question: can conventional test-time scaling methods developed for LLMs be directly applied to LVLMs? We present the first comprehensive study of test-time scaling for LVLMs, spanning multiple models and model sizes, nine test-time scaling methods, and six diverse benchmarks. Our main findings is that 1) different from previous findings, small, well-performing models benefit the most from test-time scaling, enabling performance improvements of up to around 30\%, reaching large models performance, and often outperforming them, 2) LVLMs lose focus when given more compute than necessary, and 3) Visual information is encoded early in the reasoning chain, after which the chain is dominated by text-only reasoning and the contribution of image tokens drops significantly. Finally, we also provide a global and fine-grained analysis on the quality and information sufficiency of the reasoning chains produced. Overall, our findings and analysis provide practical guidance and insights into LVLMs and their deployment in research and industry.