MultiInpaintCOCO: Fine-Grained Visual Understanding in Multiple Languages
作者: Andrei-Alexandru Manea, Jindřich Libovický, Philipp J. Rösch
分类: cs.CL
发布日期: 2026-11-02
期刊: Proceedings of the 6th Workshop on Multilingual Representation Learning (MRL 2026), pages 560-585
🔗 代码/项目: GITHUB
💡 一句话要点
提出MultiInpaintCOCO以解决多语言视觉理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言模型 多语言理解 细粒度视觉理解 多模态检索 数据集构建 跨语言偏向 低资源语言 人工智能
📋 核心要点
- 现有视觉-语言模型在细粒度图像理解上存在显著不足，尤其在多语言环境中表现更差。
- 本文提出MultiInpaintCOCO数据集，扩展了InpaintCOCO以支持多达13种语言，旨在改善细粒度视觉理解。
- 实验结果显示，低资源语言的模型性能显著下降，且模型对英语的偏向性在不同架构中差异明显。
📝 摘要（中文）
以往研究表明，视觉-语言（VL）模型在理解细粒度图像细节方面存在困难，且在多语言环境中，英语的不足会被进一步放大。为此，本文扩展了专注于细粒度视觉细节的英语数据集InpaintCOCO，创建了涵盖13种语言的MultiInpaintCOCO基准，包含953个最小对比示例。我们测试了多种最先进的模型在多语言多模态检索中的表现，结果显示低资源语言的性能显著下降，且语言的数据资源是影响性能的主要因素，而非与英语的类型相似性。在跨语言检索中，大多数模型表现出对英语的系统性偏向，尽管在单语准确性上表现相似。代码可在https://github.com/ufal/multi-inpaint-coco获取。
🔬 方法详解
问题定义：本文旨在解决视觉-语言模型在多语言环境中对细粒度图像细节理解不足的问题。现有方法在低资源语言上表现不佳，且对英语的偏向性影响了跨语言检索的效果。
核心思路：通过扩展InpaintCOCO数据集，创建MultiInpaintCOCO，涵盖多种语言，以增强模型对细粒度视觉信息的理解能力。该方法关注语言资源的可用性，而非仅仅依赖语言的类型相似性。
技术框架：研究中使用了多种最先进的视觉-语言模型，包括CLIP类编码器和大型语言模型，进行多模态检索实验。整体流程包括数据集构建、模型训练和性能评估。
关键创新：MultiInpaintCOCO是一个新的多语言基准，专注于细粒度视觉理解，填补了现有数据集在多语言支持上的空白。与现有方法相比，强调了数据资源的重要性。
关键设计：在实验中，采用了不同的模型架构进行对比，重点分析了模型在不同语言上的表现差异，特别是对英语的偏向性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在低资源语言上，模型性能显著下降，尤其是Gemma 3模型表现出最强的英语偏向，而Qwen 3模型的偏向性最小。尽管两者在单语准确性上相似，但在跨语言检索中表现差异明显，突显了模型架构对性能的影响。
🎯 应用场景
该研究的潜在应用场景包括多语言图像检索、跨文化视觉内容理解和多模态交互系统等。通过改善多语言环境下的视觉理解能力，能够推动全球范围内的人工智能应用，促进不同语言和文化之间的交流与理解。
📄 摘要（原文）
Previous research shows that vision-language (VL) models struggle to understand fine-grained image details and tend to focus on the overall layout. Moreover, any weakness in English tends to be further amplified in the multilingual setting. To study that, we extend InpaintCOCO, an English dataset focused on fine-grained visual details, to 13 typologically diverse languages across five language families, creating MultiInpaintCOCO - a new multilingual benchmark of 953 minimal-pair examples. We further test several state-of-the-art models in multilingual multimodal retrieval, considering both light VL CLIP-like encoders and large language models. Our results show that performance degrades substantially for lower-resource languages, with the strongest predictor being the data resources available for the languages rather than typological similarity to English. In cross-lingual retrieval, most models exhibit a systematic bias toward English: when given a correct caption in a non-English language and an incorrect one in English, models preferentially select the English caption. This bias varies considerably across architectures. Among the tested models, Gemma 3 shows the strongest English preference while Qwen 3 is the least biased, despite both reaching similar monolingual accuracy across languages. The code is available at https://github.com/ufal/multi-inpaint-coco.