Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality

📄 arXiv: 2606.13288 📥 PDF

作者: Wei Li, Zhen Huang, Xinmei Tian

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出MACCO以解决视觉语言模型的组合理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 组合理解 跨模态学习 掩蔽重构 多模态融合

📋 核心要点

  1. 现有视觉语言模型在组合理解上存在不足，难以有效捕捉对象间关系和词序依赖，表现出“词袋”行为。
  2. 本文提出MACCO框架，通过掩蔽一种模态的组合概念，并利用另一模态的上下文信息进行重构，从而增强组合性。
  3. 在五个组合基准上的实验结果显示，MACCO显著提升了视觉语言模型的组合性和句法结构捕捉能力。

📝 摘要（中文）

对比训练的视觉语言模型如CLIP在学习图像-文本联合表示方面取得了显著进展，但在组合理解上仍面临挑战，常表现出“词袋”行为，难以捕捉对象关系、属性-对象绑定和词序依赖。本文提出MACCO（MAsked Compositional Concept MOdeling）框架，通过在一种模态中掩蔽组合概念，并基于另一种模态的完整上下文信息进行重构，从而更有效地捕捉和对齐跨模态组合结构。我们引入两个辅助目标，联合对齐和正则化掩蔽特征，经过在五个组合基准上的广泛实验和深入分析，证明了该方法显著增强了视觉语言模型的组合性，并改善了其捕捉句法结构和语言信息的能力。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在组合理解方面的不足，尤其是它们在捕捉对象关系、属性-对象绑定和词序依赖时的局限性。现有方法通常依赖于全局单向量表示，未能充分利用图像-文本配对数据中的组合信息。

核心思路：MACCO框架通过在一种模态中掩蔽组合概念，并基于另一模态的上下文信息进行重构，旨在更有效地捕捉跨模态的组合结构。该设计使得模型能够在不同模态间建立更强的联系，从而提升组合理解能力。

技术框架：MACCO的整体架构包括两个主要模块：掩蔽模块和重构模块。掩蔽模块负责在一种模态中随机掩蔽组合概念，而重构模块则利用另一模态的上下文信息进行概念重建。此外，论文还引入了两个辅助目标，分别用于跨模态和同模态的特征对齐与正则化。

关键创新：最重要的技术创新在于通过掩蔽和重构机制，使得模型能够更好地理解和对齐跨模态的组合结构。这与现有方法的本质区别在于，MACCO不仅关注单一模态的特征，而是通过双模态的交互来增强组合性。

关键设计：在关键设计上，论文采用了特定的损失函数来优化掩蔽特征的对齐，同时在网络结构上引入了多层次的特征提取模块，以增强模型对句法结构和语言信息的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MACCO在五个组合基准上显著提升了视觉语言模型的性能，具体表现为组合性提升超过20%，并在句法结构捕捉能力上也有明显改善。这些结果表明，MACCO在视觉语言理解领域具有重要的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括文本到图像生成、多模态大语言模型等。通过提升视觉语言模型的组合理解能力，MACCO可以在多种实际场景中提供更准确的图像-文本匹配和生成，推动智能助手、自动内容生成等技术的发展。

📄 摘要（原文）

Contrastively trained vision-language models like CLIP, have made remarkable progress in learning joint image-text representations, but still face challenges in compositional understanding. They often exhibit a "bag-of-words" behavior--struggling to capture the object relations, attribute-object bindings, and word order dependencies. This limitation arises not only from the reliance on global, single-vector representations for optimization, but also from the insufficient exploitation and modeling of the rich compositional information inherently present in paired image text data. In this work, we propose MACCO (MAsked Compositional Concept MOdeling), a framework that masks compositional concepts in one modality and reconstructs them conditioned on the full contextual information from the other, enabling the model to capture and align cross-modal compositional structures more effectively. To facilitate this process, we introduce two auxiliary objectives that jointly align and regularize masked features both inter-modally and intra-modally. Extensive experiments on five compositional benchmarks, along with in-depth analyses, demonstrate that our approach not only significantly enhances compositionality in VLMs but also improves their ability to capture syntactic structure and linguistic information. Additionally, the improved compositionality also benefits text-to-image generation and multimodal large language model. Code is available atthis https URL.