A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels

📄 arXiv: 2403.13480v1 📥 PDF

作者: Haochen Han, Minnan Luo, Huan Liu, Fang Nan

分类: cs.CV, cs.IR, cs.MM

发布日期: 2024-03-20

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出统一最优传输框架以解决跨模态检索中的噪声标签问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态检索 最优传输 噪声标签 语义对齐 关系对齐 多模态学习 鲁棒性

📋 核心要点

  1. 现有监督式跨模态检索方法依赖于高质量的标注数据，然而在多模态场景中，噪声标签的引入导致检索性能下降。
  2. 本文提出了一种基于最优传输的统一框架UOT-RCL，通过语义对齐和关系对齐逐步纠正噪声标签，提升跨模态匹配效果。
  3. 实验结果显示，UOT-RCL在多个数据集上超越了最先进的方法，显著提高了对噪声标签的鲁棒性，验证了其有效性。

📝 摘要（中文）

跨模态检索（CMR）旨在建立不同模态之间的交互，监督式CMR因其在学习语义类别区分方面的灵活性而受到关注。然而，现有方法的成功往往依赖于高质量的标注数据，而在多模态场景中，数据标注的成本和时间更为昂贵。大量来自互联网的多模态数据通常伴随粗糙的标注，导致噪声标签的引入。本文提出了UOT-RCL，一个基于最优传输的统一框架，旨在通过逐步纠正噪声标签和推断语义级跨模态匹配来应对这些挑战。实验结果表明，UOT-RCL在三个广泛使用的跨模态检索数据集上超越了现有方法，并显著提高了对噪声标签的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决跨模态检索中由于噪声标签引起的语义对齐不准确和异构差距扩大的问题。现有方法在处理多模态数据时，往往无法有效应对这些挑战，导致检索性能下降。

核心思路：论文提出的UOT-RCL框架通过最优传输技术，逐步纠正噪声标签，并推断语义级的跨模态匹配，从而提升检索的准确性和鲁棒性。

技术框架：UOT-RCL框架主要包括两个模块：1) 基于部分最优传输的语义对齐模块，用于纠正噪声标签；2) 基于最优传输的关系对齐模块，用于推断跨模态匹配。整体流程通过设计一致的成本函数来实现不同模态的融合。

关键创新：本文的主要创新在于提出了一种新的跨模态一致成本函数，能够有效结合不同模态的信息，并提供精确的传输成本，从而提升了多模态数据的对齐效果。

关键设计：在损失函数设计上，结合了语义对齐和关系对齐的目标，确保了模型在训练过程中能够有效学习到多模态数据之间的内在关联性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个广泛使用的跨模态检索数据集上，UOT-RCL的性能显著优于现有最先进的方法，具体提升幅度达到XX%（具体数据待补充），验证了其在处理噪声标签方面的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括多媒体检索、社交媒体内容分析和跨模态推荐系统等。通过提高跨模态检索的鲁棒性，UOT-RCL能够在实际应用中更好地处理噪声标签问题，提升用户体验和信息检索效率。未来，该方法有望推广至更广泛的多模态学习任务中。

📄 摘要（原文）

Cross-modal retrieval (CMR) aims to establish interaction between different modalities, among which supervised CMR is emerging due to its flexibility in learning semantic category discrimination. Despite the remarkable performance of previous supervised CMR methods, much of their success can be attributed to the well-annotated data. However, even for unimodal data, precise annotation is expensive and time-consuming, and it becomes more challenging with the multimodal scenario. In practice, massive multimodal data are collected from the Internet with coarse annotation, which inevitably introduces noisy labels. Training with such misleading labels would bring two key challenges -- enforcing the multimodal samples to \emph{align incorrect semantics} and \emph{widen the heterogeneous gap}, resulting in poor retrieval performance. To tackle these challenges, this work proposes UOT-RCL, a Unified framework based on Optimal Transport (OT) for Robust Cross-modal Retrieval. First, we propose a semantic alignment based on partial OT to progressively correct the noisy labels, where a novel cross-modal consistent cost function is designed to blend different modalities and provide precise transport cost. Second, to narrow the discrepancy in multi-modal data, an OT-based relation alignment is proposed to infer the semantic-level cross-modal matching. Both of these two components leverage the inherent correlation among multi-modal data to facilitate effective cost function. The experiments on three widely-used cross-modal retrieval datasets demonstrate that our UOT-RCL surpasses the state-of-the-art approaches and significantly improves the robustness against noisy labels.