Learning to Rematch Mismatched Pairs for Robust Cross-Modal Retrieval

📄 arXiv: 2403.05105v1 📥 PDF

作者: Haochen Han, Qinghua Zheng, Guang Dai, Minnan Luo, Jingdong Wang

分类: cs.CV, cs.AI, cs.MM

发布日期: 2024-03-08

备注: CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出L2RM框架以解决跨模态检索中的部分不匹配对问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态检索 部分不匹配对 最优传输 自监督学习 多媒体数据

📋 核心要点

  1. 现有方法主要通过估计软对应关系来降低部分不匹配对的影响，但效果有限。
  2. 本文提出L2RM框架，通过最优传输学习重新匹配不匹配对，挖掘潜在的语义相似性。
  3. 在三个基准数据集上，L2RM显著提高了模型对部分不匹配对的鲁棒性，验证了其有效性。

📝 摘要（中文）

收集良好匹配的多媒体数据集对于训练跨模态检索模型至关重要。然而，在实际场景中，从互联网收集的大量多模态数据不可避免地包含部分不匹配对（PMPs），这些语义不相关的数据会显著影响跨模态检索性能。本文提出了一种新的方法L2RM，通过最优传输（OT）框架学习重新匹配不匹配对，从而挖掘有用的知识。L2RM通过自监督成本函数和部分OT问题建模，显著提高了现有模型对PMPs的鲁棒性。实验结果表明，L2RM在三个基准数据集上表现出色，代码可在GitHub上获取。

🔬 方法详解

问题定义：本文旨在解决跨模态检索中由于部分不匹配对（PMPs）导致的性能下降问题。现有方法通常通过降低PMPs的贡献来缓解这一问题，但未能充分利用不匹配对中的潜在有用信息。

核心思路：L2RM框架的核心思想是通过最优传输（OT）方法重新匹配不匹配对，利用样本间的潜在语义相似性来挖掘有用知识。该方法通过自监督学习自动生成匹配成本，从而优化对不匹配对的处理。

技术框架：L2RM的整体架构包括两个主要模块：自监督成本函数模块和部分OT问题建模模块。自监督成本函数用于学习样本间的相似性映射，而部分OT模块则在限制错误匹配的情况下优化样本对的传输。

关键创新：L2RM的主要创新在于引入了自监督学习的成本函数和部分OT建模，能够在处理不匹配对时有效提升模型的鲁棒性。这一方法与传统的软对应关系估计方法有本质区别。

关键设计：在设计中，L2RM采用了自监督学习策略来动态调整匹配成本，并通过限制错误匹配的传输来进一步提高对齐的精确度。具体的损失函数和网络结构设计细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个基准数据集上的实验结果表明，L2RM显著提高了模型对部分不匹配对的鲁棒性，相较于基线模型，性能提升幅度可达XX%。具体实验数据和对比结果在论文中详细列出。

🎯 应用场景

该研究的潜在应用领域包括多媒体检索、图像与文本的跨模态搜索、社交媒体内容分析等。通过提高跨模态检索的鲁棒性，L2RM能够在实际应用中显著提升用户体验，推动相关技术的发展与应用。

📄 摘要（原文）

Collecting well-matched multimedia datasets is crucial for training cross-modal retrieval models. However, in real-world scenarios, massive multimodal data are harvested from the Internet, which inevitably contains Partially Mismatched Pairs (PMPs). Undoubtedly, such semantical irrelevant data will remarkably harm the cross-modal retrieval performance. Previous efforts tend to mitigate this problem by estimating a soft correspondence to down-weight the contribution of PMPs. In this paper, we aim to address this challenge from a new perspective: the potential semantic similarity among unpaired samples makes it possible to excavate useful knowledge from mismatched pairs. To achieve this, we propose L2RM, a general framework based on Optimal Transport (OT) that learns to rematch mismatched pairs. In detail, L2RM aims to generate refined alignments by seeking a minimal-cost transport plan across different modalities. To formalize the rematching idea in OT, first, we propose a self-supervised cost function that automatically learns from explicit similarity-cost mapping relation. Second, we present to model a partial OT problem while restricting the transport among false positives to further boost refined alignments. Extensive experiments on three benchmarks demonstrate our L2RM significantly improves the robustness against PMPs for existing models. The code is available at https://github.com/hhc1997/L2RM.