Steering Vision-Language Models with Joint Sparse Autoencoders

📄 arXiv: 2606.25657v1 📥 PDF

作者: Huizhen Shu, Xuying Li, Hongxu Lin, Wenjie Sun, Hui Li

分类: cs.CV, cs.AI

发布日期: 2026-06-24

备注: 19pages,10 figures

💡 一句话要点

提出联合稀疏自编码器以提升视觉-语言模型的可控性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏自编码器 视觉-语言模型 多模态分析 可控性 特征提取 深度学习 模型对齐

📋 核心要点

  1. 现有的稀疏自编码器在视觉-语言模型中的应用效果不佳，难以提供可控的跨模态引导方向。
  2. 论文提出的联合稀疏自编码器通过显式对齐约束，能够共同分解视觉和语言激活，生成可解释的特征。
  3. 实验结果表明，JSAE在多个VLM架构中实现了层局部化的效果，支持更可控的多模态特征分析。

📝 摘要（中文）

稀疏自编码器（SAEs）在分析语言模型方面展现出潜力，但在视觉-语言模型（VLMs）中的应用常导致难以作为可控的跨模态引导方向的表示。本文提出了联合稀疏自编码器（JSAE），通过显式对齐约束将序列池化的视觉和语言激活共同分解为共享的、可解释的图像/标题级特征。应用于LLaVA后，JSAE能够恢复可识别概念的跨模态特征（如食物和动物）。通过双向干预（加性引导和抑制），我们观察到在我们的协议下存在层依赖的不对称性：加性引导在中后层（输出前）达到峰值，而在两端减弱，而抑制得分在所有探测层中保持在可比范围内，受统计噪声影响。对三种VLM（LLaVA-v1.6-Mistral-7B、Llama3-LLaVA-8B和基于MoE的Qwen3-VL-30B）的实验显示了架构间的相关层局部效应。这些结果表明，显式对齐的稀疏表示支持对多模态特征的更可控的干预分析。

🔬 方法详解

问题定义：本文旨在解决现有稀疏自编码器在视觉-语言模型中难以生成可控跨模态引导方向的问题。现有方法在特征表示上存在局限性，导致难以进行有效的干预分析。

核心思路：提出联合稀疏自编码器（JSAE），通过引入显式对齐约束，联合分解视觉和语言的激活，形成共享的、可解释的特征，从而增强可控性。

技术框架：JSAE的整体架构包括输入的视觉和语言特征，通过序列池化后，利用对齐约束进行联合稀疏编码，最终输出可解释的图像/标题级特征。

关键创新：JSAE的显著创新在于其引入的显式对齐约束，使得稀疏表示在跨模态特征分析中更具可控性，区别于传统的稀疏自编码器。

关键设计：在模型设计中，采用了特定的损失函数以强化对齐效果，并通过层级干预实验验证了不同层次的特征表现，确保了模型的有效性和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，JSAE在LLaVA、Llama3和Qwen3等多个VLM架构中实现了层局部化的干预效果，加性引导在中后层达到峰值，抑制得分在各层间保持一致，表明其在可控性和分析能力上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括多模态信息检索、智能问答系统以及人机交互等。通过提升视觉-语言模型的可控性，JSAE能够为实际应用提供更精确的特征分析和干预手段，推动智能系统的进一步发展。

📄 摘要（原文）

Sparse Autoencoders (SAEs) have shown promise for analyzing language models, but applying them to vision-language models (VLMs) often yields representations that are difficult to use as controllable cross-modal steering directions. We introduce the Joint Sparse Autoencoder (JSAE), which uses an explicit alignment constraint to jointly factorize sequence-pooled vision and language activations into shared, interpretable image/caption-level features. Applied to LLaVA, JSAE recovers cross-modal features for recognizable concepts (e.g., food and animals). Through bidirectional interventions (additive steering and suppression), we observe a layer-dependent asymmetry under our protocol: additive steering peaks at mid-to-late (pre-output) layers and weakens at both ends, whereas suppression scores remain within a comparable range across all probed layers within statistical noise. Experiments on three VLMs, namely LLaVA-v1.6-Mistral-7B, Llama3-LLaVA-8B, and the MoE-based Qwen3-VL-30B, show related layer-localized effects across architectures. Together, these results suggest that explicitly aligned sparse representations support more controllable intervention-based analysis of multimodal features, within an identifiable layer range, than the unconstrained alternatives tested here.