Caption-Matching: A Multimodal Approach for Cross-Domain Image Retrieval

📄 arXiv: 2403.15152v3 📥 PDF

作者: Lucas Iijima, Nikolaos Giakoumoglou, Tania Stathaki

分类: cs.CV

发布日期: 2024-03-22 (更新: 2026-04-08)

💡 一句话要点

提出Caption-Matching以解决跨域图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨域图像检索 多模态学习 视觉-语言模型 图像标题生成 相似性计算

📋 核心要点

  1. 现有CDIR方法依赖于有标签数据或在目标数据集上训练，导致泛化能力不足。
  2. 本文提出的Caption-Matching方法利用生成的图像标题作为中间表示，避免了对标签数据的依赖。
  3. 实验结果表明，该方法在Office-Home和DomainNet数据集上表现优异，且在处理AI生成图像时也展现了良好效果。

📝 摘要（中文）

跨域图像检索（CDIR）是计算机视觉中的一项挑战性任务，旨在匹配不同视觉域（如素描、绘画和照片）中的图像。现有的CDIR方法通常依赖于有标签的跨域对应关系的监督学习，或需要在目标数据集上进行训练或微调，常常面临显著的域间差距和对未见域的有限泛化能力。本文提出了一种新颖的CDIR方法，通过利用公开可用的预训练视觉-语言模型，结合文本上下文。我们的方法Caption-Matching（CM）使用生成的图像标题作为域无关的中间表示，从而在无需标签数据或进一步训练的情况下有效计算跨域相似性。我们在标准CDIR基准数据集上评估了该方法，展示了在即插即用设置下的最先进性能，并在Office-Home和DomainNet上相较于之前的方法有一致的提升。我们还展示了该方法在Midjourney生成的AI图像数据集上的有效性，展示了其处理复杂多域查询的能力。

🔬 方法详解

问题定义：本文旨在解决跨域图像检索（CDIR）中的图像匹配问题，现有方法在面对不同视觉域时常常依赖于有标签数据或需要针对目标数据集进行训练，导致泛化能力不足。

核心思路：论文提出的Caption-Matching方法通过生成图像标题作为域无关的中间表示，利用预训练的视觉-语言模型来计算跨域相似性，从而避免了对标签数据的依赖和进一步训练的需求。

技术框架：该方法的整体架构包括图像输入、图像标题生成、相似性计算和检索模块。首先，输入图像通过预训练模型生成对应的标题，然后利用这些标题进行跨域相似性计算，最后实现图像检索。

关键创新：最重要的技术创新在于将文本上下文引入CDIR任务，通过生成的图像标题作为中间表示，显著提高了跨域匹配的效果，与传统方法相比，减少了对标签数据的依赖。

关键设计：在技术细节上，采用了预训练的视觉-语言模型进行图像标题生成，设计了适应不同域的相似性计算方法，确保了在多种视觉域间的有效匹配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Caption-Matching方法在Office-Home和DomainNet数据集上达到了最先进的性能，相较于之前的方法有显著提升，尤其是在处理复杂的多域查询时，展现出优异的效果。

🎯 应用场景

该研究的潜在应用领域包括跨域图像检索、数字艺术作品的分类与检索、以及多模态内容的搜索引擎优化。通过提供一种无需标签数据的检索方法，能够在多种视觉域中实现更高效的图像匹配，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Cross-Domain Image Retrieval (CDIR) is a challenging task in computer vision, aiming to match images across different visual domains such as sketches, paintings, and photographs. Existing CDIR methods rely either on supervised learning with labeled cross-domain correspondences or on methods that require training or fine-tuning on target datasets, often struggling with substantial domain gaps and limited generalization to unseen domains. This paper introduces a novel CDIR approach that incorporates textual context by leveraging publicly available pre-trained vision-language models. Our method, Caption-Matching (CM), uses generated image captions as a domain-agnostic intermediate representation, enabling effective cross-domain similarity computation without the need for labeled data or further training. We evaluate our method on standard CDIR benchmark datasets, demonstrating state-of-the-art performance in plug-and-play settings with consistent improvements on Office-Home and DomainNet over previous methods. We also demonstrate our method's effectiveness on a dataset of AI-generated images from Midjourney, showcasing its ability to handle complex, multi-domain queries.