LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs

📄 arXiv: 2602.00462 📥 PDF

作者: Benno Krojer, Shravan Nayak, Oscar Mañas, Vaibhav Adlakha, Desmond Elliott, Siva Reddy, Marius Mosbach

分类: cs.CV, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出LatentLens以提升视觉标记的可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉标记 可解释性 多模态学习 自然语言处理 潜在表示

📋 核心要点

  1. 现有方法在解释视觉标记时存在不足，常用的可解释性工具未能充分揭示其潜在信息。
  2. LatentLens通过将视觉标记与上下文化的文本表示进行比较，提供了更为准确的自然语言描述。
  3. 实验结果表明，LatentLens在15种VLM上显著提高了视觉标记的可解释性，超越了传统方法。

📝 摘要（中文）

将大型语言模型（LLM）转变为视觉语言模型（VLM）可以通过将视觉标记映射到LLM的嵌入空间来实现。令人惊讶的是，这种映射可以简单地通过浅层多层感知器（MLP）转换来完成。为了理解LLM为何能如此轻松地处理视觉标记，我们需要可解释性方法来揭示每一层LLM处理过程中视觉标记表示的编码内容。本文提出了LatentLens，这是一种将潜在表示映射到自然语言描述的新方法。LatentLens对大量文本语料库进行编码，并为每个标记存储上下文化的表示。然后将视觉标记表示与这些上下文化表示进行比较，最近邻表示作为视觉标记的描述。我们在15种不同的VLM上评估了该方法，结果表明，常用方法如LogitLens显著低估了视觉标记的可解释性。使用LatentLens后，绝大多数视觉标记在所有研究模型和层中都是可解释的。

🔬 方法详解

问题定义：本文旨在解决现有可解释性方法在理解视觉标记表示时的不足，尤其是LogitLens等工具未能充分揭示视觉标记的潜在信息。

核心思路：LatentLens的核心思路是通过将视觉标记与上下文化的文本表示进行比较，利用最近邻方法生成更具语义意义的自然语言描述，从而提升可解释性。

技术框架：整体架构包括三个主要模块：首先，对大量文本语料库进行编码以生成上下文化表示；其次，将视觉标记表示映射到该表示空间；最后，通过最近邻搜索获取描述。

关键创新：LatentLens的创新之处在于其通过上下文化的文本表示来增强视觉标记的可解释性，显著提高了对视觉信息的理解能力，与传统方法相比，提供了更为细致的解释。

关键设计：在设计上，LatentLens使用了浅层多层感知器（MLP）进行映射，并通过优化最近邻搜索算法来提高描述的准确性和相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用LatentLens后，绝大多数视觉标记在15种VLM模型中均可被有效解释，明显优于LogitLens等传统方法，提升幅度达到显著水平。这表明LatentLens在可解释性研究中的重要性和有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提升视觉标记的可解释性，LatentLens可以帮助研究人员更好地理解视觉和语言之间的关系，促进多模态模型的开发与应用，进而推动智能系统在复杂任务中的表现。

📄 摘要（原文）

Transforming a large language model (LLM) into a vision-language model (VLM) can be achieved by mapping the visual tokens from a vision encoder into the embedding space of an LLM. Intriguingly, this mapping can be as simple as a shallow MLP transformation. To understand why LLMs can so readily process visual tokens, we need interpretability methods that reveal what is encoded in the visual token representations at every layer of LLM processing. In this work, we introduce LatentLens, a novel approach for mapping latent representations to descriptions in natural language. LatentLens encodes a large text corpus and stores contextualized token representations for each token in that corpus. Visual token representations are then compared to these contextualized representations and the top-nearest neighbor representations serve as descriptions of the visual token. We evaluate this method on 15 different VLMs, showing that commonly used methods, such as LogitLens, substantially underestimate the interpretability of visual tokens. With LatentLens instead, the majority of visual tokens are interpretable across all studied models and all layers. Qualitatively, we show that the descriptions produced by LatentLens are semantically meaningful and provide more fine-grained interpretations for humans compared to individual tokens. More broadly, our findings contribute new evidence on the alignment between vision and language representations and open up new directions for analyzing the latent representations of LLMs.