Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking

📄 arXiv: 2404.08535v2 📥 PDF

作者: Tianyu Zhu, Myong Chol Jung, Jesse Clark

分类: cs.IR, cs.CV, cs.LG

发布日期: 2024-04-12 (更新: 2025-04-27)

期刊: The ACM Web Conference 2025 (WWW2025) Industry Track

DOI: 10.1145/3701716.3715227

🔗 代码/项目: GITHUB

💡 一句话要点

提出广义对比学习以解决多模态检索与排序问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比学习 多模态检索 排名学习 数据集构建 机器学习

📋 核心要点

  1. 现有对比学习方法主要依赖二元相关性，无法有效处理复杂的排名任务，导致排序性能不足。
  2. 本文提出的广义对比学习（GCL）框架通过引入连续排名分数，优化了检索模型的训练过程，简化了系统架构。
  3. 实验表明，GCL在多个评估中显著提升了检索性能，尤其是在NDCG@10指标上，相比基线模型有显著的提升。

📝 摘要（中文）

对比学习因其对人工标注的最低需求而广泛应用于检索任务。然而，现有的训练框架通常仅从二元（正/负）相关性中学习，无法有效融入所需的排序信息。这导致模型的排序性能较差，迫使系统使用重排序器，增加了复杂性和推理时间。为此，本文提出了广义对比学习（GCL）框架，旨在从连续的排名分数中学习，将相关性和排名信息编码到统一的嵌入空间中。我们还创建了一个大型的MarqoGS-10M数据集，以支持排名检索的基准测试。实验结果表明，GCL在NDCG@10上实现了29.3%的提升，并在冷启动评估中提高了6.0%至10.0%。

🔬 方法详解

问题定义：现有的对比学习方法通常依赖于二元相关性，无法有效捕捉复杂的排名信息，导致排序性能不足，进而需要额外的重排序器来提升效果，这增加了系统的复杂性和推理时间。

核心思路：广义对比学习（GCL）框架通过引入连续的排名分数，允许模型在训练过程中直接学习相关性和排名信息，从而实现单阶段的检索系统，简化了整体架构。

技术框架：GCL的整体架构包括数据预处理、嵌入生成、损失计算和模型优化等主要模块。通过将排名分数应用于损失函数，模型能够在一个统一的嵌入空间中学习。

关键创新：GCL的核心创新在于其能够从连续的排名分数中学习，而不仅仅依赖于二元相关性。这一设计使得模型能够更好地捕捉复杂的排序信息，显著提升了检索性能。

关键设计：在损失函数的设计上，GCL采用了结合排名分数的损失计算方式，确保模型在训练过程中能够有效利用所有可用的信息。此外，数据集MarqoGS-10M的构建为模型的训练和评估提供了丰富的多模态数据支持。

📊 实验亮点

实验结果显示，GCL在NDCG@10指标上实现了29.3%的提升，相较于微调的CLIP基线模型，在冷启动评估中提升幅度为6.0%至10.0%。此外，在离线评估中，GCL在特定用户交互数据上也表现出11.2%的性能提升，验证了其有效性。

🎯 应用场景

广义对比学习（GCL）框架在多模态检索和排序任务中具有广泛的应用潜力，特别是在电商、信息检索和推荐系统等领域。通过简化检索流程，GCL能够提高用户体验，降低系统维护成本，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

Contrastive learning has gained widespread adoption for retrieval tasks due to its minimal requirement for manual annotations. However, popular training frameworks typically learn from binary (positive/negative) relevance, making them ineffective at incorporating desired rankings. As a result, the poor ranking performance of these models forces systems to employ a re-ranker, which increases complexity, maintenance effort and inference time. To address this, we introduce Generalized Contrastive Learning (GCL), a training framework designed to learn from continuous ranking scores beyond binary relevance. GCL encodes both relevance and ranking information into a unified embedding space by applying ranking scores to the loss function. This enables a single-stage retrieval system. In addition, during our research, we identified a lack of public multi-modal datasets that benchmark both retrieval and ranking capabilities. To facilitate this and future research for ranked retrieval, we curated a large-scale MarqoGS-10M dataset using GPT-4 and Google Shopping, providing ranking scores for each of the 10 million query-document pairs. Our results show that GCL achieves a 29.3% increase in NDCG@10 for in-domain evaluations and 6.0% to 10.0% increases for cold-start evaluations compared to the finetuned CLIP baseline with MarqoGS-10M. Additionally, we evaluated GCL offline on a proprietary user interaction data. GCL shows an 11.2% gain for in-domain evaluations. The dataset and the method are available at: https://github.com/marqo-ai/GCL.