ELVA: Exploring Ranking-Driven Universal Multimodal Retrieval

📄 arXiv: 2606.20280v1 📥 PDF

作者: Yuhan Liu, Pei Fu, Hang Li, Yukun Qi, Chao Jiang, Jingwen Fu, Zhen Liu, Bin Qin, Zhenbo Luo, Jian Luan, Jingmin Xin

分类: cs.IR, cs.AI

发布日期: 2026-06-18

备注: Accepted by ECCV 2026

💡 一句话要点

提出ELVA以解决多模态检索中的粒度盲点问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 粒度盲点 强化学习 对比学习 规则奖励 MRBench基准 模型优化

📋 核心要点

  1. 现有方法在多模态检索中忽视了粒度盲点，导致模型无法有效处理复杂查询。
  2. 本文提出ELVA框架，通过排名驱动的强化学习，针对负样本的相似性进行差异化处理。
  3. ELVA在标准检索基准上表现优异，特别是在MRBench上提升了13.1%，验证了其有效性。

📝 摘要（中文）

利用对比学习的多模态大语言模型（MLLMs）已成为提升通用多模态检索（UMR）性能的主流方法。然而，现有研究忽视了在检索任务中适应对比范式时的粒度盲点问题。粒度盲点指的是模型在处理复杂查询时，忽略了查询中包含的粒度信息。为了解决这一问题，本文提出了一种新的基于规则的强化学习框架ELVA，通过排名驱动的MLLMs来减轻粒度盲点。我们的方法通过可验证奖励扩展了强化学习，允许模型在没有显式排名标签的情况下探索新的排名行为，并通过规则奖励共同优化负样本的排名，扩大正负样本之间的相似性差距。ELVA在标准检索基准上取得了最先进的结果，并在MRBench上实现了13.1%的显著提升，进一步证明了其在缓解粒度盲点方面的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态检索中的粒度盲点问题，现有方法将样本视为二分类，忽略了负样本所携带的不同信息，导致模型无法充分利用查询中的粒度信息。

核心思路：ELVA通过将负样本根据与正样本的相似性进行差异化处理，允许模型从每个负样本中学习独特的粒度信息，从而缓解粒度盲点。

技术框架：ELVA框架包括两个主要模块：首先是基于规则的奖励机制，优化负样本的排名；其次是强化学习与可验证奖励的结合，允许模型在没有显式标签的情况下探索新的排名行为。

关键创新：ELVA的核心创新在于引入了基于规则的奖励机制，区别于传统的依赖于奖励模型的方法，使得模型能够更灵活地处理负样本的排名问题。

关键设计：在设计上，ELVA采用了特定的损失函数来优化正负样本之间的相似性差距，同时引入了MRBench基准，以更精确地测量粒度盲点的影响。整体架构强调了规则奖励与强化学习的结合，确保了模型的有效性与灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ELVA在标准检索基准上达到了最先进的性能，特别是在MRBench基准上实现了13.1%的显著提升，显示出其在缓解粒度盲点方面的有效性。这一结果超越了现有的多模态检索方法，证明了新框架的创新性和实用性。

🎯 应用场景

该研究在多模态检索领域具有广泛的应用潜力，尤其适用于需要处理复杂查询的场景，如图像与文本的联合检索、视频内容分析等。通过改善模型对粒度信息的理解，ELVA能够提升检索系统的准确性与用户体验，未来可能推动智能搜索引擎和推荐系统的发展。

📄 摘要（原文）

Leveraging Multimodal Large Language Models (MLLMs) via contrastive learning has become a mainstream paradigm for improving the performance of Universal Multimodal Retrieval (UMR). However, previous works have ignored the grain blindness when adapting the contrastive paradigm into retrieval tasks. Grain blindness refers to the tendency of the model to overlook grain-level information contained in the query, which is crucial for effectively handling complex queries. This stems from contrastive learning treating samples as a binary classification (positive/negative), while ignoring the different information carried by each negative sample. To address this, we argue that negatives should be treated differently according to their similarity to the positive sample, enabling the model to learn distinct grain information from each negative. In this paper, we introduce a simple but effective framework, called ELVA, a novel rule-based RL framework that mitigates grain blindness through ranking-driven MLLMs. 1) Instead of relying on reward models, we extend Reinforcement Learning with Verifiable Rewards (RLVR) to retrieval tasks, allowing the model to explore new ranking behaviors without explicit ranking labels. 2) By utilizing rule-based rewards, our approach jointly optimizes the ranking of negative samples while enlarging the similarity gap between positive and negative. To more precisely measure grain blindness, we further introduce MRBench, a new benchmark specifically designed for multi-grain query scenarios. ELVA achieves state-of-the-art results across standard retrieval benchmarks, and its notable 13.1% improvement on MRBench further demonstrates its effectiveness in alleviating grain blindness.