How Visual Representations Map to Language Feature Space in Multimodal LLMs

📄 arXiv: 2506.11976v2 📥 PDF

作者: Constantin Venhoff, Ashkan Khakzar, Sonia Joseph, Philip Torr, Neel Nanda

分类: cs.CV, cs.LG

发布日期: 2025-06-13 (更新: 2025-06-22)

💡 一句话要点

提出冻结模型与线性适配器以解决视觉与语言对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉语言模型 对齐机制 线性适配器 稀疏自编码器

📋 核心要点

  1. 现有的视觉语言模型在视觉与语言表示的对齐机制上尚不明确，导致多模态推理效果不佳。
  2. 论文提出通过保持语言模型和视觉模型冻结，仅训练线性适配器来实现视觉特征与语言特征的直接映射。
  3. 实验结果表明，视觉表示与语言特征表示在中后层逐渐对齐，揭示了当前适配器架构的潜在不足。

📝 摘要（中文）

有效的多模态推理依赖于视觉与语言表示的对齐，但视觉语言模型（VLMs）实现这种对齐的机制仍不清楚。本文遵循LiMBeR框架，保持大型语言模型（LLM）和视觉变换器（ViT）冻结，仅通过训练线性适配器进行视觉指令调优。通过保持语言模型冻结，确保其原始语言表示不受视觉数据的适应，从而使线性适配器必须直接将视觉特征映射到LLM现有的表示空间。实验设计独特地利用了预训练的稀疏自编码器（SAEs）作为分析探针，揭示了视觉表示与语言特征表示逐层对齐的过程，尤其在中后层收敛。这表明ViT输出与早期LLM层之间存在根本的不对齐，提出了当前基于适配器的架构是否最佳促进跨模态表示学习的重要问题。

🔬 方法详解

问题定义：本文旨在解决视觉与语言表示之间的对齐问题，现有方法未能有效揭示其对齐机制，导致多模态推理的性能受限。

核心思路：通过保持大型语言模型和视觉变换器冻结，仅训练线性适配器，使其直接将视觉特征映射到语言模型的表示空间，从而避免语言模型对视觉数据的适应。

技术框架：整体架构包括一个冻结的LLM和一个冻结的ViT，二者通过线性适配器连接。实验中使用预训练的稀疏自编码器（SAEs）作为分析工具，评估视觉特征与语言特征的对齐情况。

关键创新：最重要的创新在于通过冻结模型保持语言表示不变，确保线性适配器的映射直接反映视觉特征与语言特征的关系，揭示了层级对齐的动态过程。

关键设计：在实验中，使用了稀疏自编码器作为分析探针，关注重建误差、稀疏模式和特征描述，系统分析了视觉表示与语言表示的对齐过程。通过这种设计，能够深入理解不同层次的对齐情况。

📊 实验亮点

实验结果显示，视觉表示与语言特征表示在中后层逐渐对齐，揭示了ViT输出与早期LLM层之间的根本不对齐。通过系统分析，发现当前基于适配器的架构在促进跨模态表示学习方面存在潜在不足，值得进一步研究。

🎯 应用场景

该研究的潜在应用领域包括多模态人工智能系统、智能助理和自动内容生成等。通过改进视觉与语言的对齐机制，可以提升这些系统在理解和生成多模态信息方面的能力，进而推动人机交互的智能化发展。

📄 摘要（原文）

Effective multimodal reasoning depends on the alignment of visual and linguistic representations, yet the mechanisms by which vision-language models (VLMs) achieve this alignment remain poorly understood. Following the LiMBeR framework, we deliberately maintain a frozen large language model (LLM) and a frozen vision transformer (ViT), connected solely by training a linear adapter during visual instruction tuning. By keeping the language model frozen, we ensure it maintains its original language representations without adaptation to visual data. Consequently, the linear adapter must map visual features directly into the LLM's existing representational space rather than allowing the language model to develop specialized visual understanding through fine-tuning. Our experimental design uniquely enables the use of pre-trained sparse autoencoders (SAEs) of the LLM as analytical probes. These SAEs remain perfectly aligned with the unchanged language model and serve as a snapshot of the learned language feature-representations. Through systematic analysis of SAE reconstruction error, sparsity patterns, and feature SAE descriptions, we reveal the layer-wise progression through which visual representations gradually align with language feature representations, converging in middle-to-later layers. This suggests a fundamental misalignment between ViT outputs and early LLM layers, raising important questions about whether current adapter-based architectures optimally facilitate cross-modal representation learning.