MultiModal Code-Switching: Interleaving Visual Objects into Language for Explicit Object-Level Alignment
作者: Changhao Xiang, Shangyu Xing, Zhen Wu, Jianbing Zhang, Xinyu Dai
分类: cs.CV, cs.CL, cs.LG
发布日期: 2026-08-11
💡 一句话要点
提出多模态代码切换方法以解决视觉对象与语言对齐问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 视觉-语言对齐 预训练模型 数据合成 对象级监督
📋 核心要点
- 现有多模态大型语言模型在图像-文本对齐上存在指代模糊问题，导致模型难以准确推断视觉对象与文本实体的对应关系。
- 本文提出多模态代码切换（MMCS）方法，通过将文本实体与对应的视觉对象交替使用，增强局部视觉-语言对齐。
- 实验结果显示，MMCS在数据效率上表现优异，使用50K样本的情况下，性能可与600K样本的模型相媲美，并在视觉对齐能力上持续提升。
📝 摘要（中文）
现有的多模态大型语言模型（MLLMs）主要依赖图像-文本对进行预训练，映射全局图像表示到长文本描述。然而，这种图像级对齐存在指代模糊的问题，模型难以推断多个视觉对象与文本实体之间的对应关系，导致数据效率低下和语义基础不佳。为了解决这一问题，本文提出了多模态代码切换（MMCS）这一新颖的预训练范式，通过将文本实体替换为相应的视觉对象，强制进行局部视觉-语言对齐。此外，研究还开发了一个可扩展的数据合成管道，生成了773K样本的预训练数据集，确保对象-实体之间的准确对应。实验表明，MMCS在数据效率上表现优异：仅用50K样本便能匹敌或超越在600K图像-文本对上训练的模型，并且在不同模型规模上持续提升视觉对齐和感知能力。
🔬 方法详解
问题定义：现有的多模态大型语言模型在图像-文本对齐时，主要依赖全局图像表示，导致模型在多个视觉对象和文本实体之间的对应关系推断上存在困难，造成数据效率低下和语义基础不佳。
核心思路：本文提出的多模态代码切换（MMCS）方法，灵感来源于语言中的代码切换现象，通过将文本实体替换为其对应的视觉对象，强制模型进行局部的视觉-语言对齐，从而提升模型的理解能力。
技术框架：MMCS的整体架构包括数据合成管道和预训练阶段。数据合成管道生成773K样本，确保对象与实体之间的准确对应；预训练阶段则利用这些样本进行模型训练。
关键创新：MMCS的核心创新在于提供显式的对象级监督，区别于传统方法的全局对齐方式，使得模型能够更好地理解视觉和语言之间的关系。
关键设计：在模型训练中，采用了特定的损失函数来优化视觉-语言对齐效果，并设计了适应不同规模模型的训练策略，以确保在数据效率和性能上的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MMCS在数据效率上表现突出，仅使用50K样本便能匹敌或超越在600K图像-文本对上训练的模型，且在视觉对齐和感知能力上持续提升，证明了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动图像标注和多模态搜索引擎等。通过提升视觉与语言的对齐能力，MMCS能够在实际应用中提供更准确的对象识别和语义理解，未来可能对人机交互和信息检索等领域产生深远影响。
📄 摘要（原文）
Existing Multimodal Large Language Models (MLLMs) predominantly rely on image-text pairs for modality alignment pretraining, mapping global image representations to long textual descriptions. However, this image-level alignment suffers from referential ambiguity: models struggle to infer the correspondences between multiple visual objects and textual entities from the global representation, leading to data inefficiency and suboptimal semantic grounding. To address this, we propose MultiModal Code-Switching (MMCS), a novel pretraining paradigm that provides explicit object-level supervision. Inspired by the linguistic phenomenon of code-switching, MMCS interleaves vision and language by replacing textual entities with their corresponding visual objects, enforcing local vision-language grounding. We further develop a scalable data synthesis pipeline to generate a pretraining dataset of 773K samples with accurate object-entity correspondences. Experiments show that MMCS is highly data-efficient: with only 50K samples, it matches or surpasses models trained on 600K image-text pairs. Furthermore, MMCS consistently improves visual grounding and perception capabilities across varying model scales.