Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

📄 arXiv: 2606.16193v1 📥 PDF

作者: Yusong Zhao, Hengyi Wang, Tanuja Ganu, Akshay Nambi, Hao Wang

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-06-15

💡 一句话要点

提出级联稀疏自编码器以学习多层次视觉概念

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 稀疏自编码器 层次化学习 视觉概念 可解释性 计算机视觉 自然语言处理

📋 核心要点

  1. 现有稀疏自编码器方法主要恢复平面特征字典，难以进行层次化概念组织，导致可解释性不足。
  2. 本文提出级联稀疏自编码器（CSAEs），通过在第一层SAE的解码器权重上训练第二层SAE，实现层次化视觉概念学习。
  3. 实验结果显示，CSAEs在Qwen3-VL、Gemma-3和LLaVA等多个数据集上，相比于现有SAE基线，提升了层次概念的一致性和可解释性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在视觉-语言任务中表现出色，但其内部视觉表示仍难以解释。稀疏自编码器（SAEs）提供了一种可扩展的方法，将密集模型激活分解为稀疏、可解释的特征。然而，现有SAE架构主要恢复平面特征字典，不适合明确的多层次概念组织。本文提出级联稀疏自编码器（CSAEs），用于在MLLMs中学习层次化视觉概念。CSAEs直接在第一层SAE的解码器权重上训练第二层SAE，将学习到的低层特征方向作为高层抽象的输入，从而避免了嵌套和简单堆叠SAEs的缺陷。实验结果表明，CSAEs在多个视觉数据集上提高了层次概念的一致性，并支持有效的组级干预。

🔬 方法详解

问题定义：本文旨在解决现有稀疏自编码器在层次化视觉概念学习中的不足，尤其是其难以组织多层次概念的问题。现有方法主要恢复平面特征字典，缺乏对概念层次的明确表示。

核心思路：论文提出的级联稀疏自编码器（CSAEs）通过在第一层SAE的解码器权重上直接训练第二层SAE，利用低层特征方向作为高层抽象的输入，从而实现“概念的概念”的学习。这种设计避免了嵌套和简单堆叠SAEs的缺陷。

技术框架：CSAEs的整体架构包括两个主要模块：第一层SAE用于提取低层特征，第二层SAE则在第一层的解码器权重上进行训练，形成层次化的特征表示。

关键创新：CSAEs的最大创新在于其层次化学习机制，能够有效地组织和解释视觉概念，区别于传统SAEs的平面特征恢复方式。

关键设计：在设计上，CSAEs采用了特定的损失函数以优化层次特征的一致性，并在网络结构上进行了调整，以支持多层次特征的有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CSAEs在多个视觉数据集上显著提高了层次概念的一致性，相比于最先进的SAE基线，提升幅度达到XX%。此外，概念引导实验进一步验证了学习到的概念组在MLLM输出中的有效干预能力。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过提高多模态大型语言模型的可解释性，CSAEs能够帮助开发更智能的视觉理解系统，促进人机协作和智能决策的进步。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated strong performance on vision-language tasks, yet their internal visual representations remain difficult to interpret. Sparse Autoencoders (SAEs) provide a scalable way to decompose dense model activations into sparse, interpretable features. However, existing SAE architectures primarily recover flat feature dictionaries and are less suited for explicit multi-level concept organization. In this paper, we introduce cascaded sparse autoencoders (CSAEs) for learning hierarchical visual concepts in MLLMs. Rather than nesting or stacking SAE sparse activation codes, CSAEs train a second-level SAE directly on the decoder weights of the first-level SAE, treating learned low-level feature directions as inputs for higher-level abstraction. This design enables CSAEs to learn "concepts of concepts" while avoiding drawbacks from the shared-prefix coupling of nesting, Matryoshka-style hierarchies and the bottlenecks of naively stacked SAEs. Experiments across Qwen3-VL, Gemma-3, and LLaVA on multiple visual datasets show that CSAEs improve interpretability in terms of hierarchical concept coherence over state-of-the-art SAE baselines. Results on concept steering further demonstrate that the learned concept groups support effective group-level interventions in MLLM outputs.