Understanding How MLLMs Describe Artworks Using Token Activation Maps

📄 arXiv: 2606.27947v1 📥 PDF

作者: Nicola Fanelli, Pasquale De Marinis, Raffaele Scaringi, Eva Cetinic, Gennaro Vessio, Giovanna Castellano

分类: cs.CV

发布日期: 2026-06-26

备注: Accepted at PRESTIGE workshop at ICPR 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Token Activation Map以解析多模态大语言模型对艺术作品的描述

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 艺术作品描述 Token Activation Map 视觉推理 热图分析

📋 核心要点

  1. 现有的多模态大语言模型在描述艺术作品时缺乏透明度，难以理解其视觉推理过程。
  2. 论文提出使用Token Activation Map（TAM）来分析MLLMs生成的每个令牌的视觉证据，揭示其与艺术作品的关联。
  3. 实验结果表明，MLLMs在艺术家归属的准确性上优于标题预测，且不同语义类别的令牌在视觉基础上存在显著差异。

📝 摘要（中文）

多模态大语言模型（MLLMs）能够流畅地描述艺术作品，但其输出背后的视觉推理仍然不够清晰。本文研究了MLLMs在命名风格、识别主题或图标符号时，是否能够将每个声明与画布的相关区域相联系。我们使用Token Activation Map（TAM）生成热图，分析不同语义类别的令牌的视觉基础。研究发现，视觉基础因令牌语义而异，并且在艺术家归属的准确性上高于标题预测。最后，我们将TAM与SAM~3开放词汇分割进行了比较，并在项目页面上发布了代码和实验配置，以确保可重复性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在描述艺术作品时，缺乏对其视觉推理过程的清晰理解，现有方法未能有效揭示模型输出与视觉信息的关联性。

核心思路：通过引入Token Activation Map（TAM），为每个生成的令牌生成热图，从而隔离与该令牌相关的视觉证据，分析不同语义类别的令牌在视觉基础上的差异。

技术框架：整体架构包括数据集构建、TAM生成、热图分析和结果比较四个主要模块。首先，选择多种风格和时期的艺术作品，然后应用TAM生成热图，最后分析不同类别令牌的视觉基础。

关键创新：TAM的引入是本文的核心创新，它能够有效地将生成令牌与其视觉证据相联系，克服了现有方法中对视觉信息模糊处理的问题。

关键设计：在技术细节上，TAM的生成依赖于特定的参数设置和网络结构，确保热图能够准确反映与每个令牌相关的视觉信息，同时对比分析了TAM与SAM~3的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MLLMs在艺术家归属的准确性上达到了较高水平，相较于标题预测，准确性显著提升，且在不同语义类别的令牌中，视觉基础的差异性得到了有效揭示。

🎯 应用场景

该研究的潜在应用领域包括艺术作品的自动描述、教育工具以及艺术品鉴定等。通过更好地理解MLLMs的视觉推理过程，可以提升其在艺术领域的应用效果，促进人机交互的自然性与准确性。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) describe artworks with remarkable fluency, yet the visual reasoning behind their outputs remains opaque. When an MLLM names a style, identifies a subject, or recognizes an iconographic symbol, does it ground each claim in the relevant region of the canvas, draw on an undifferentiated visual signal, or rely primarily on textual priors? We study this using the Token Activation Map (TAM), which produces, for each generated token, a heatmap isolating the visual evidence specific to that token from prior-context interference. Applying TAM to a curated set of paintings spanning multiple periods and genres, we analyze grounding patterns across five semantically distinct token categories: common visual objects, style descriptors, metadata, iconographic tokens, and affective expressions. We find that visual grounding varies substantially with token semantics. We further show that MLLMs attempt to identify artworks and artists, achieving higher accuracy in artist attribution than in title prediction, where hallucinations are more frequent. Finally, we compare TAM with SAM~3 open-vocabulary segmentation. To ensure reproducibility, we release our code, experimental configurations, prompts, and qualitative results on the project page at https://nicolafan.github.io/tamart/.