FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model

📄 arXiv: 2510.10921v2 📥 PDF

作者: Chunyu Xie, Bin Wang, Fanjing Kong, Jincheng Li, Dawei Liang, Ji Ao, Dawei Leng, Yuhui Yin

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-10-13 (更新: 2025-10-17)

💡 一句话要点

提出FG-CLIP 2，用于提升英汉双语环境下的细粒度视觉-语言对齐能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度视觉-语言对齐 双语模型 区域-文本匹配 长文本建模 对比学习 中文多模态理解 TIC损失

📋 核心要点

  1. 现有视觉-语言模型在细粒度理解上不足，尤其在非英语环境下，难以精确对齐图像细节与文本描述。
  2. FG-CLIP 2利用区域-文本匹配、长文本建模等细粒度监督，并引入TIC损失区分相似文本，提升双语对齐能力。
  3. 实验表明，FG-CLIP 2在多种任务上超越现有方法，并在新提出的中文多模态基准上取得领先成果。

📝 摘要（中文）

当前模型在细粒度视觉-语言理解方面存在局限性，尤其是在非英语环境中，难以精确对齐视觉内容和语言描述。尽管CLIP等模型在全局对齐方面表现良好，但在捕捉对象属性、空间关系和语言表达的细粒度细节方面存在困难，且对双语理解的支持有限。为了解决这些挑战，我们提出了FG-CLIP 2，一种旨在提升英语和汉语细粒度对齐的双语视觉-语言模型。我们的方法利用丰富的细粒度监督，包括区域-文本匹配和长文本建模，以及多个判别性目标。我们进一步引入了文本内模态对比（TIC）损失，以更好地区分语义相似的文本描述。FG-CLIP 2在精心策划的大规模英语和汉语混合数据上进行训练，实现了强大的双语性能。为了进行严格的评估，我们提出了一个新的中文多模态理解基准，包括长文本检索和边界框分类。在8个任务的29个数据集上进行的大量实验表明，FG-CLIP 2优于现有方法，在两种语言中都取得了最先进的结果。我们发布了模型、代码和基准，以促进未来对双语细粒度对齐的研究。

🔬 方法详解

问题定义：现有视觉-语言模型，如CLIP，在全局层面对齐图像和文本表现良好，但在细粒度层面，例如对象属性、空间关系以及更复杂的语言表达上，对齐效果不佳。尤其是在非英语语境下，缺乏高质量的数据集和模型，限制了模型在中文等语言上的应用。现有方法难以区分语义相似的文本描述，导致模型学习到的表征区分性不足。

核心思路：FG-CLIP 2的核心思路是通过引入更丰富的细粒度监督信息，以及专门设计的损失函数，来提升模型在视觉和语言特征空间中的对齐能力。通过区域-文本匹配，模型可以学习到图像局部区域与对应文本描述之间的关系。长文本建模则帮助模型理解更复杂的语义信息。TIC损失则旨在增强模型区分语义相似文本的能力。

技术框架：FG-CLIP 2的整体框架基于CLIP模型，但进行了改进以适应细粒度对齐的需求。主要包含以下模块：图像编码器（用于提取图像特征）、文本编码器（用于提取文本特征）、区域-文本匹配模块（用于对齐图像区域和文本片段）、长文本建模模块（用于处理长文本描述）。训练过程中，模型同时优化多个目标函数，包括CLIP损失、区域-文本匹配损失、长文本建模损失和TIC损失。

关键创新：FG-CLIP 2的关键创新在于以下几个方面：1) 引入了丰富的细粒度监督信息，包括区域-文本匹配和长文本建模。2) 提出了TIC损失，用于增强模型区分语义相似文本的能力。3) 构建了一个新的中文多模态理解基准，用于评估模型在中文环境下的细粒度对齐能力。4) 模型在英语和中文两种语言上都取得了state-of-the-art的结果。

关键设计：在区域-文本匹配方面，使用了预训练的目标检测模型来提取图像区域，并使用Transformer网络来学习区域特征和文本特征之间的对应关系。在长文本建模方面，使用了Transformer-XL模型来处理长文本依赖关系。TIC损失的具体形式为对比学习损失，旨在拉近同一图像的不同文本描述之间的距离，同时推远不同图像的文本描述之间的距离。具体的参数设置和网络结构细节未在摘要中详细说明，需要参考论文全文。

📊 实验亮点

FG-CLIP 2在29个数据集上的8个任务中取得了state-of-the-art的结果，证明了其在细粒度视觉-语言对齐方面的优越性。特别是在新提出的中文多模态理解基准上，FG-CLIP 2显著超越了现有方法，验证了其在中文环境下的有效性。具体的性能提升数据需要在论文中查找。

🎯 应用场景

FG-CLIP 2在多个领域具有广泛的应用前景，例如图像检索、视觉问答、图像描述生成、细粒度图像分类等。该模型可以应用于智能客服、电商推荐、教育辅助等场景，提升用户体验和工作效率。未来，该模型可以进一步扩展到更多语言和模态，例如视频、语音等，实现更全面的多模态理解。

📄 摘要（原文）

Fine-grained vision-language understanding requires precise alignment between visual content and linguistic descriptions, a capability that remains limited in current models, particularly in non-English settings. While models like CLIP perform well on global alignment, they often struggle to capture fine-grained details in object attributes, spatial relations, and linguistic expressions, with limited support for bilingual comprehension. To address these challenges, we introduce FG-CLIP 2, a bilingual vision-language model designed to advance fine-grained alignment for both English and Chinese. Our approach leverages rich fine-grained supervision, including region-text matching and long-caption modeling, alongside multiple discriminative objectives. We further introduce the Textual Intra-modal Contrastive (TIC) loss to better distinguish semantically similar captions. Trained on a carefully curated mixture of large-scale English and Chinese data, FG-CLIP 2 achieves powerful bilingual performance. To enable rigorous evaluation, we present a new benchmark for Chinese multimodal understanding, featuring long-caption retrieval and bounding box classification. Extensive experiments on 29 datasets across 8 tasks show that FG-CLIP 2 outperforms existing methods, achieving state-of-the-art results in both languages. We release the model, code, and benchmark to facilitate future research on bilingual fine-grained alignment.