AVIS: Adaptive Test-Time Scaling for Vision-Language Models

📄 arXiv: 2606.11576v1 📥 PDF

作者: Ahmadreza Jeddi, Minh Ngoc Le, Amirhossein Kazerouni, Hakki Can Karaimer, Hue Nguyen, Iqbal Mohomed, Michael Brudno, Alex Levinshtein, Konstantinos G. Derpanis, Babak Taati, Radek Grzeszczuk

分类: cs.CV, cs.AI

发布日期: 2026-06-10

备注: Project page: https://avis-vlm.github.io/

💡 一句话要点

提出AVIS以优化视觉语言模型的推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 自适应推理 多模态学习 计算效率 图像推理 视频推理 深度学习

📋 核心要点

  1. 现有方法通常单独优化视觉上下文或推理过程，未能有效联合分配计算资源，导致推理效率低下。
  2. AVIS通过自适应调整视觉上下文缩放和推理缩放，利用KDV修剪和自适应自一致性来提升推理效率。
  3. 在多种图像和视频推理基准上，AVIS相较于传统方法显著提高了准确性与计算效率的平衡，保持低延迟。

📝 摘要（中文）

现代视觉语言模型（VLMs）在链式思维提示和测试时缩放方面取得了显著进展，但这些进步往往伴随着高昂的推理成本。本文提出自适应视觉推理缩放（AVIS），通过视觉上下文缩放（VCS）和视觉推理缩放（VRS）两个轴线的联合优化，显著降低了推理成本。AVIS采用关键多样性视觉（KDV）修剪技术，无需训练即可高效去除冗余视觉标记，并通过自适应自一致性选择推理回合数。实验结果表明，AVIS在多种图像和视频推理基准上，相较于仅优化VCS或VRS的基线，提升了准确性与计算效率的平衡。

🔬 方法详解

问题定义：本文旨在解决现代视觉语言模型在推理过程中面临的高计算成本问题。现有方法往往只关注视觉上下文或推理过程的单一优化，导致整体效率低下。

核心思路：AVIS的核心思想是通过自适应地同时优化视觉上下文缩放（VCS）和视觉推理缩放（VRS），以实现更高效的推理过程。通过动态调整这两个参数，AVIS能够在不同查询中灵活应对计算需求。

技术框架：AVIS的整体架构包括两个主要模块：KDV修剪用于优化视觉上下文，通过去除冗余视觉标记来减少输入数据；自适应自一致性模块则根据学习到的难度预测器动态选择推理回合数，从而优化推理过程。

关键创新：AVIS的主要创新在于其轻量级的策略，能够在推理时根据具体查询自适应调整VCS和VRS的比例。这种联合优化方法在现有方法中尚属首次，显著提升了推理效率。

关键设计：AVIS采用的KDV修剪技术为O(N)的关键基于规则，能够在不需要额外训练的情况下高效去除冗余视觉标记。此外，自适应自一致性模块通过学习的难度预测器来选择推理回合数，确保在保持计算低的同时提高准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多种图像和视频推理基准测试中，AVIS相较于仅优化视觉上下文或推理过程的基线，显著提高了准确性与计算效率的平衡，具体表现为在保持低计算和延迟的同时，准确性得到了有效提升。

🎯 应用场景

AVIS的研究成果在多模态学习、计算机视觉和自然语言处理等领域具有广泛的应用潜力。其优化的推理效率可以应用于实时图像和视频分析、智能助手、自动驾驶等场景，提升系统的响应速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Modern Vision-Language Models (VLMs) benefit from chain-of-thought prompting and test-time scaling, but these gains often come with prohibitive inference cost due to large visual contexts and long decoding chains. We view this cost through two coupled axes: Visual Context Scaling (VCS), which controls how much visual evidence is passed to the language model, and Visual Reasoning Scaling (VRS), which controls how much inference-time reasoning search is performed. Existing methods typically optimize one axis at a time, leaving the joint allocation of compute across these axes underexplored. We introduce Adaptive Visual Inference Scaling (AVIS), a lightweight policy that adapts both VCS and VRS per query. AVIS realizes VCS through Key Diversity Visual (KDV) pruning, a training-free $O(N)$ key-based rule for removing redundant visual tokens before prefilling, and realizes VRS through adaptive self-consistency, using a learned difficulty predictor to select the number of reasoning rollouts. AVIS is deployment-friendly and compatible with shared-prefill inference, where all rollouts reuse a single prefilling pass and KV cache. Across diverse image and video reasoning benchmarks, AVIS improves the accuracy--compute trade-off relative to VCS-only and VRS-only baselines, and remains effective on top of RL post-trained VLMs while keeping compute and latency low.