A Multimodal Automated Interpretability Agent

📄 arXiv: 2404.14394v2 📥 PDF

作者: Tamar Rott Shaham, Sarah Schwettmann, Franklin Wang, Achyuta Rajaram, Evan Hernandez, Jacob Andreas, Antonio Torralba

分类: cs.AI, cs.CL, cs.CV

发布日期: 2024-04-22 (更新: 2025-02-11)

备注: 25 pages, 13 figures

💡 一句话要点

提出MAIA以自动化神经模型可解释性任务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态可解释性 神经网络 自动化工具 计算机视觉 特征解释

📋 核心要点

  1. 现有的神经网络可解释性方法往往依赖于人工实验，效率低且难以系统化。
  2. MAIA通过集成多种工具，自动化神经模型的可解释性任务，提升了研究效率和准确性。
  3. 实验表明，MAIA在描述特征方面的表现与人类专家相当，并能有效减少模型对虚假特征的敏感性。

📝 摘要（中文）

本文描述了MAIA，一个多模态自动化可解释性代理。MAIA利用神经模型自动化神经模型理解任务，如特征解释和故障模式发现。该系统为预训练的视觉-语言模型配备了一套工具，支持对其他模型子组件的迭代实验，以解释其行为。这些工具包括人类可解释性研究者常用的工具：合成和编辑输入、计算来自真实数据集的最大激活示例，以及总结和描述实验结果。MAIA提出的可解释性实验组合了这些工具，以描述和解释系统行为。我们评估了MAIA在计算机视觉模型中的应用，首先表征了MAIA描述图像学习表示中的特征的能力。通过多个训练模型和一组配对真实描述的合成视觉神经元的新数据集，MAIA生成的描述与专家人类实验者生成的描述相当。接着，我们展示了MAIA在减少对虚假特征的敏感性和自动识别可能被错误分类的输入方面的辅助作用。

🔬 方法详解

问题定义：本文旨在解决神经网络可解释性研究中人工实验效率低下和系统化不足的问题。现有方法往往依赖于专家的主观判断，难以实现自动化和标准化。

核心思路：MAIA的核心思路是通过集成多种工具，自动化神经模型的可解释性任务。这种设计旨在提高可解释性研究的效率，使得研究者能够更快速地理解模型行为。

技术框架：MAIA的整体架构包括多个模块：输入合成与编辑模块、最大激活示例计算模块、实验结果总结模块等。这些模块协同工作，支持对模型子组件的迭代实验。

关键创新：MAIA的主要创新在于其自动化能力，能够在无需人工干预的情况下，生成与人类专家相当的特征描述。这一创新显著提高了可解释性研究的效率和准确性。

关键设计：MAIA的设计中，关键参数包括输入合成的多样性、最大激活示例的选择策略等。损失函数的设计旨在优化特征描述的准确性，网络结构则基于现有的视觉-语言模型进行扩展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MAIA在描述图像特征方面的表现与人类专家相当，能够生成高质量的特征描述。此外，MAIA在减少模型对虚假特征的敏感性和自动识别潜在错误分类输入方面也表现出色，显著提升了可解释性研究的效率。

🎯 应用场景

MAIA的研究成果在多个领域具有潜在应用价值，包括计算机视觉、自动驾驶、医疗影像分析等。通过提高模型的可解释性，MAIA能够帮助研究人员和工程师更好地理解和优化模型，从而提升系统的可靠性和安全性。未来，MAIA的技术可能会被广泛应用于需要高可解释性的AI系统中。

📄 摘要（原文）

This paper describes MAIA, a Multimodal Automated Interpretability Agent. MAIA is a system that uses neural models to automate neural model understanding tasks like feature interpretation and failure mode discovery. It equips a pre-trained vision-language model with a set of tools that support iterative experimentation on subcomponents of other models to explain their behavior. These include tools commonly used by human interpretability researchers: for synthesizing and editing inputs, computing maximally activating exemplars from real-world datasets, and summarizing and describing experimental results. Interpretability experiments proposed by MAIA compose these tools to describe and explain system behavior. We evaluate applications of MAIA to computer vision models. We first characterize MAIA's ability to describe (neuron-level) features in learned representations of images. Across several trained models and a novel dataset of synthetic vision neurons with paired ground-truth descriptions, MAIA produces descriptions comparable to those generated by expert human experimenters. We then show that MAIA can aid in two additional interpretability tasks: reducing sensitivity to spurious features, and automatically identifying inputs likely to be mis-classified.