Seeing Before Answering: Training-Free Visual Layer Profiling for Vision-Language Models

📄 arXiv: 2608.16263v1 📥 PDF

作者: Ruchen Liu, Yi Yang, Yiming Xu, Michael Ying Yang, Monika Sester, Bodo Rosenhahn

分类: cs.CV

发布日期: 2026-08-17

备注: ECCVW'26 eXCV

💡 一句话要点

提出视觉层剖析方法以优化视觉语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 层剖析 视觉数据熵 Gromov-Wasserstein 多模态学习 图像理解 视频分析

📋 核心要点

  1. 现有的视觉语言模型在选择视觉特征层时，通常依赖固定的层，这种方法在多种任务中表现不佳。
  2. 论文提出了一种训练无关的视觉层剖析方法，通过视觉数据熵（VDE）和Gromov-Wasserstein（GW）距离来评估层的有效性。
  3. 实验结果显示，VDE能够准确反映层级准确性，并在每个任务中识别出最佳层，而GW在投影后效果减弱。

📝 摘要（中文）

本文研究了LLaVA风格的视觉语言模型（VLMs），指出现有模型在视觉特征传递时，固定的层选择往往不够理想。通过对多种模型和任务的分析，发现最佳层在不同任务和视觉骨干网络中会有所变化。为此，提出了一种基于表示几何的层有效性预测方法，利用视觉数据熵（VDE）和Gromov-Wasserstein（GW）距离进行层剖析。研究表明，VDE能够有效追踪层级准确性，并为下游任务提供指导，而GW则在投影后表现不佳。此方法无需训练，能够显著缩小视觉层的搜索范围，提升模型性能。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型中固定层选择的不足，现有方法在多任务和模型中表现不一致，且寻找最佳层的代价过高。

核心思路：提出通过表示几何来预测层的有效性，利用视觉数据熵（VDE）和Gromov-Wasserstein（GW）距离来评估不同层的表现，避免了昂贵的逐层推理。

技术框架：整体方法包括两个主要模块：首先计算样本级视觉嵌入的VDE，其次利用GW距离进行层级视觉-语言对齐信号的评估。通过分析投影前后的表现，确定最佳层的选择。

关键创新：最重要的创新在于引入了VDE作为一种可解释的、训练无关的策略，能够有效缩小视觉层的搜索范围，与传统的固定层选择方法形成鲜明对比。

关键设计：在参数设置上，使用100个未标记的任务样本计算VDE，确保其能够反映层级准确性；同时，GW距离的设计用于评估对齐效果，尽管在投影后表现不佳。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，VDE能够在每个任务中准确识别出最佳层，且在SigLIP基础的LLaVA-Video中，VDE的表现优于GW，提供了更强的层级准确性信号。这一方法显著提升了模型在视觉任务中的表现。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、计算机视觉和自然语言处理等。通过优化视觉语言模型的层选择，可以提升图像理解、视频分析等任务的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

LLaVA-style Vision-Language Models (VLMs) pass visual tokens from a fixed late layer of the vision backbone, typically the penultimate one, to the language model. We first show that this hidden convention is fragile: across 2 VLMs and 7 image and video benchmarks, the default layer is sub-optimal in 13 of 14 model-task pairs, and the best layer shifts with both task and visual backbone. Finding that layer by exhaustive layer-wise inference is prohibitively expensive, and no better fixed default exists. We therefore ask whether layer usefulness can instead be predicted from representation geometry. We study matrix-based entropy, introduced for unimodal layer analysis, which we compute over sample-level visual embeddings as Visual Dataset Entropy (VDE); and Gromov-Wasserstein (GW) distance, introduced for encoder-level VLM model selection, which we repurpose as a layer-wise visual--language alignment signal. Transferring these to LLaVA-based models is not obvious a priori: the vision tower is frozen while the multimodal projector is trained, so we profile both sides of the projector. We find that VDE transfers, and GW does not. Computed from 100 unlabeled task samples without downstream inference, pre-projector VDE tracks layer-wise accuracy and its top-ranked layers cover the oracle best layer on every task for the SigLIP-based LLaVA-Video, while giving region-level guidance for the CLIP-based Video-LLaVA. Post-projector profiles show that the projector reshapes visual geometry but does not erase the performance-relevant trend, leaving $\mathrm{VDE}_{\mathrm{pre}}$ the stronger signal. GW instead flattens after projection and is best read as an alignment diagnostic rather than a selector. VDE thus offers an interpretable, training-free policy that narrows the visual-layer search to a handful of candidates for limited downstream verification.