Generative Universal Multimodal Retrieval with Dual-role Identifiers

📄 arXiv: 2608.12987v1 📥 PDF

作者: Kaipeng Li, Haitao Yu, Xuanchen Zhou

分类: cs.IR, cs.AI

发布日期: 2026-08-13

备注: This paper is under review

💡 一句话要点

提出DrIG框架以解决多模态检索中的效率与准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成信息检索 多模态检索 双重角色标识符 自回归解码 集合解码 效率与准确性 智能搜索引擎

📋 核心要点

  1. 现有生成信息检索方法在左到右解码时容易出现前缀错误和局部最优，且多模态检索研究相对不足。
  2. 本文提出的DrIG框架通过双重角色标识符，支持多模态检索，采用自回归解码和无序集合重解释来提高检索性能。
  3. 实验结果显示，DrIG在M-BEIR基准和文本到图像评估数据集上均优于最先进的生成多模态基线，且在效率和效果上取得良好平衡。

📝 摘要（中文）

生成信息检索（GIR）作为传统索引-检索-排序流程的替代方案，展现出良好的潜力。然而，现有方法面临多项挑战，包括左到右解码的局限性、单模态研究的不足以及离散标识符检索的准确性问题。为此，本文提出了一种新颖的生成框架DrIG，采用双重角色标识符，支持多种模态和领域的检索任务。实验结果表明，DrIG在多项任务中均优于现有的生成多模态基线，并在效率与效果之间实现了良好的平衡。

🔬 方法详解

问题定义：本文旨在解决生成信息检索（GIR）中的多模态检索效率与准确性问题。现有方法在处理多模态数据时，往往局限于单一模态，且左到右的解码方式容易导致前缀错误和局部最优。

核心思路：提出DrIG框架，采用双重角色标识符，分别在顺序解码和集合解码中发挥作用。顺序解码中，标识符的第一个令牌明确建模模态，其余令牌逐步捕捉更细致的语义；集合解码则提供前缀无关的相关性先验，指导束搜索以减轻局部最优问题。

技术框架：DrIG框架包含两个主要模块：顺序解码模块和集合解码模块。顺序解码模块通过自回归方式生成标识符，而集合解码模块则将标识符视为无序集合进行处理，二者相辅相成。

关键创新：DrIG的双重角色标识符是其核心创新，与传统方法相比，能够有效缓解前缀错误和局部最优问题，提升多模态检索的整体性能。

关键设计：在参数设置上，本文探讨了基础LMM、束大小、重排序深度和融合策略等对检索性能的影响，提供了系统设计的实用指导。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，DrIG在M-BEIR基准和文本到图像评估数据集上均显著优于现有的生成多模态基线，尤其在效率与效果的平衡上表现突出。具体而言，DrIG在多项任务中实现了超过10%的性能提升，展现出其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括跨模态信息检索、智能搜索引擎以及多媒体内容推荐等。通过提升多模态检索的效率与准确性，DrIG框架能够为用户提供更为精准和高效的信息获取体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Generative information retrieval (GIR) has emerged as a compelling alternative to the conventional index-retrieve-then-rank retrieval pipeline by training a generator to produce the identifiers of relevant items directly. Despite its promise, a number of open challenges still remain. First, constrained left-to-right decoding is vulnerable to prefix-level errors and local optima. Second, most prior GIR research remains largely unimodal, leaving instruction-aware retrieval across text, image, and mixed image-text items underexplored. Third, although discrete identifier-based GIR offers higher efficiency, its retrieval accuracy still lags behind that of the cutting-edge dense-vector-based retrieval methods. Motivated by these challenges, we propose DrIG, a novel Generative framework for universal multimodal retrieval featuring Dual-role Identifiers, which supports diverse retrieval tasks across multiple modalities and domains. Each candidate is assigned a single residual-quantized identifier that serves two complementary roles. In its sequential role, the identifier is decoded autoregressively, where the first token explicitly models modality and the remaining tokens capture progressively finer semantics. In its set-based role, the same tokens are reinterpreted as an unordered set to provide a prefix-independent relevance prior, which guides constrained beam search and alleviates local-optimum errors. Extensive experiments on the M-BEIR benchmark and the text-to-image evaluation datasets show that:(1)DrIG consistently outperforms state-of-the-art generative multimodal baselines across diverse tasks, while hybrid reranking achieves a favorable efficiency-effectiveness trade-off against strong dense retrievers. (2)Ablation and scaling analyses reveal how the base LMM, beam size, reranking depth, and fusion strategy affect retrieval performance, providing practical guidance for system design.