UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval

📄 arXiv: 2608.18504v1 📥 PDF

作者: Libiao Chen, Xiyang Liu, Yanheng Wei, Tao Wang, Zhenyu Tang

分类: cs.AI

发布日期: 2026-08-19

💡 一句话要点

提出UMER框架以解决多模态检索中的语义推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 语义推理 配对感知 区分推理 对比嵌入 互蒸馏 MLLM

📋 核心要点

  1. 现有的多模态检索方法在处理语义推理时存在不足，尤其是在区分正负样本方面。
  2. UMER框架通过配对感知的区分推理，比较查询和候选对，增强了语义匹配的准确性。
  3. 在MMEB-V2基准测试中，UMER在可比实验设置下实现了最先进的性能，支持预算可调的推理。

📝 摘要（中文）

通用多模态检索旨在支持多样化的指令感知检索任务，既需要高效的语料库规模匹配，又需要细粒度的语义推理。现有的基于MLLM的嵌入方法通常从隐藏状态中推导表示，而链式思维（CoT）推理作为一种增强嵌入的有前景策略，通过将中间语义证据编码到表示空间中。然而，现有的CoT方法通常在查询和候选项上进行逐项推理，缺乏明确的证据来区分正样本与语义混淆的难负样本。为此，本文提出了UMER，一个统一的多模态嵌入与排名框架，采用配对感知的区分推理，比较查询-候选对以识别与指令相关的匹配和差异证据。UMER在单个MLLM中联合学习对比嵌入和区分排名，进一步通过互蒸馏策略在嵌入和排名函数之间转移可靠的配对偏好。

🔬 方法详解

问题定义：论文旨在解决通用多模态检索中的语义推理不足，现有方法在区分正负样本时缺乏有效的证据支持，导致检索效果不佳。

核心思路：UMER框架通过配对感知的区分推理，比较查询和候选对，识别与指令相关的匹配和差异证据，从而提升语义推理能力。

技术框架：UMER的整体架构包括对比嵌入模块和区分排名模块，二者在单个MLLM中联合学习，并通过互蒸馏策略实现信息的有效转移。

关键创新：UMER的主要创新在于采用配对感知的区分推理，替代了传统的逐项推理方法，使得模型能够更有效地处理语义混淆问题。

关键设计：在模型设计中，采用了特定的损失函数来优化对比嵌入和区分排名的学习过程，同时在网络结构上进行了优化，以支持高效的推理和学习。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在MMEB-V2基准测试中，UMER框架实现了最先进的性能，相较于现有基线方法，提升幅度显著，具体性能数据表明其在语义匹配和推理任务中表现优越，支持预算可调的推理方式。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、推荐系统以及多模态信息检索等。UMER框架的高效性和准确性使其在处理复杂的多模态数据时具有实际价值，未来可能推动相关领域的技术进步与应用普及。

📄 摘要（原文）

Universal multimodal retrieval aims to support diverse instruction-aware retrieval tasks, demanding both efficient corpus-scale matching and fine-grained semantic reasoning. Recent MLLM-based embedding methods typically derive representations from hidden states, while Chain-of-Thought (CoT) reasoning is emerging as a promising strategy for embedding enhancement by encoding intermediate semantic evidence into the representation space. However, existing CoT methods typically use item-wise reasoning over queries and candidates in isolation, providing no explicit evidence to distinguish a positive from a semantically confusable hard negative. Moreover, contrastive embeddings capture global similarity but struggle with meta-tasks requiring answer verification, category judgment or fine-grained reasoning. In this paper, we propose UMER, a Unified Multimodal Embedding and Ranking framework for universal multimodal retrieval. UMER replaces item-wise reflection with Pair-Aware Discriminative Reasoning, which compares query--candidate pairs to identify instruction-relevant matching and discrepancy evidence. UMER jointly learns contrastive embeddings for efficient global matching and discriminative ranking for explicit pairwise relevance judgment within a single MLLM. A complementary mutual distillation strategy further transfers reliable pairwise preferences between the embedding and ranking functions. On the MMEB-V2 benchmark, UMER achieves state-of-the-art performance under comparable experimental settings while supporting budget-adjustable inference.