Modal Aphasia: Can Unified Multimodal Models Describe Images From Memory?

📄 arXiv: 2510.21842v1 📥 PDF

作者: Michael Aerni, Joshua Swanson, Kristina Nikolić, Florian Tramèr

分类: cs.CV, cs.CR

发布日期: 2025-10-22

💡 一句话要点

揭示多模态模型中的“模态失语症”现象，即视觉记忆准确但文本描述失败

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 模态失语症 图像描述 文本生成 AI安全 知识表示 模型评估

📋 核心要点

  1. 现有统一多模态模型在视觉概念记忆和文本描述之间存在不一致性，即“模态失语症”。
  2. 通过分析模型在图像生成和文本描述任务中的表现差异，揭示模型在不同模态间知识迁移的局限性。
  3. 实验证明该现象并非偶然，而是当前多模态模型的一个基本属性，并可能导致安全漏洞。

📝 摘要（中文）

本文提出“模态失语症”的概念，这是一种系统性的分离现象，即当前统一的多模态模型能够准确地记忆视觉概念，但无法用文字表达它们，尽管这些模型同时接受了图像和文本的训练。研究表明，领先的前沿模型可以生成近乎完美的标志性电影艺术作品的复制品，但在被要求提供文本描述时，会混淆关键细节。通过在多种架构上对合成数据集进行受控实验，证实了这些发现。实验表明，模态失语症可靠地作为当前统一多模态模型的一个基本属性出现，而不仅仅是训练伪像。在实践中，模态失语症可能会在人工智能安全框架中引入漏洞，因为应用于一种模态的保障措施可能会使有害概念在其他模态中仍然可访问。通过展示一个仅在文本上对齐的模型仍然能够生成不安全的图像，证明了这种风险。

🔬 方法详解

问题定义：论文旨在解决统一多模态模型在不同模态之间知识表示和迁移不一致的问题。现有方法虽然在图像和文本上联合训练模型，但模型在视觉模态和文本模态上的表现存在显著差异，即模型可以准确记住图像，但无法用文字准确描述图像内容。这种不一致性可能导致安全风险，例如，文本模态的安全措施可能无法阻止模型生成有害图像。

核心思路：论文的核心思路是通过系统性的实验，揭示并分析多模态模型中“模态失语症”现象。通过对比模型在图像生成和文本描述任务中的表现，研究模型在不同模态之间知识表示的差异。论文认为，这种差异并非简单的训练问题，而是当前多模态模型架构的固有属性。

技术框架：论文采用多种多模态模型架构进行实验，包括但不限于图像-文本生成模型。实验流程包括：1) 使用图像和文本数据训练多模态模型；2) 评估模型在图像生成任务上的性能，例如生成电影海报；3) 评估模型在文本描述任务上的性能，例如描述电影海报的内容；4) 对比模型在不同任务上的表现，分析“模态失语症”现象。此外，论文还设计了合成数据集，以更精确地控制实验条件。

关键创新：论文最重要的技术创新点是提出了“模态失语症”的概念，并系统性地研究了该现象在多模态模型中的存在。与现有方法不同，论文不仅关注模型的整体性能，更关注模型在不同模态之间的表现差异，并揭示了这种差异可能带来的安全风险。

关键设计：论文的关键设计包括：1) 使用标志性电影海报作为实验对象，因为这些图像具有明确的视觉特征和文本描述；2) 设计合成数据集，以控制图像和文本之间的关系，例如，使用简单的几何形状和颜色组合；3) 采用多种评估指标，包括图像相似度、文本准确率等，以全面评估模型的性能。

📊 实验亮点

实验结果表明，即使是最先进的多模态模型，在图像生成任务上表现出色，但在文本描述任务上却存在明显的缺陷。例如，模型可以生成近乎完美的电影海报复制品，但在描述海报内容时，会混淆关键细节。此外，实验还证明，即使模型在文本模态上进行了安全对齐，仍然可能生成不安全的图像。

🎯 应用场景

该研究成果可应用于提升多模态模型的安全性和可靠性。例如，可以用于开发更有效的安全保障机制，确保模型在不同模态下都能避免生成有害内容。此外，该研究也有助于改进多模态模型的知识表示和迁移能力，使其更好地理解和利用不同模态的信息。

📄 摘要（原文）

We present modal aphasia, a systematic dissociation in which current unified multimodal models accurately memorize concepts visually but fail to articulate them in writing, despite being trained on images and text simultaneously. For one, we show that leading frontier models can generate near-perfect reproductions of iconic movie artwork, but confuse crucial details when asked for textual descriptions. We corroborate those findings through controlled experiments on synthetic datasets in multiple architectures. Our experiments confirm that modal aphasia reliably emerges as a fundamental property of current unified multimodal models, not just as a training artifact. In practice, modal aphasia can introduce vulnerabilities in AI safety frameworks, as safeguards applied to one modality may leave harmful concepts accessible in other modalities. We demonstrate this risk by showing how a model aligned solely on text remains capable of generating unsafe images.