UEmbed: Unified Sparse and Dense Multimodal Embeddings

📄 arXiv: 2608.02583v1 📥 PDF

作者: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

分类: cs.CV, cs.AI, cs.CL, cs.IR

发布日期: 2026-08-03

💡 一句话要点

提出UEmbed以解决多模态稀疏与密集嵌入统一问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 稀疏检索 密集表示 解码器模型 信息检索 自然语言处理 学习稀疏检索

📋 核心要点

  1. 现有的学习稀疏检索方法主要依赖于双向编码器架构，难以有效扩展到多模态场景。
  2. UEmbed通过引入仅基于解码器的架构，统一生成稀疏和密集嵌入，简化了多模态处理流程。
  3. UEmbed在MMEB-v2上达到了71.8的密集嵌入和71.0的稀疏嵌入，表现优于现有的多模态嵌入模型。

📝 摘要（中文）

稀疏检索是现代搜索系统的基础，现有的学习稀疏检索（LSR）方法主要依赖于双向编码器架构，且在多模态设置中仍需依赖辅助的跨模态模块。为了解决这些局限性，本文提出了UEmbed（统一嵌入），一种仅基于解码器的多模态嵌入模型，能够在一次因果前向传递中生成稀疏和密集表示。UEmbed通过向输入添加N个可学习的特殊标记，并将词汇表划分为N个不相交的子集，使每个标记的因果隐藏状态预测其分配子集的稀疏权重。经过公共数据训练，UEmbed在多个规模下发布，并在MMEB-v2上取得了71.8（密集）和71.0（稀疏）的成绩，超越了现有的多模态嵌入模型。

🔬 方法详解

问题定义：本文旨在解决现有学习稀疏检索方法在多模态场景中的局限性，尤其是依赖双向编码器和辅助模块的问题。

核心思路：UEmbed通过仅使用解码器架构，结合可学习的特殊标记和词汇划分，能够在一次前向传递中生成稀疏和密集嵌入，从而简化模型结构。

技术框架：UEmbed的整体架构包括输入层、特殊标记层和因果隐藏状态层。输入层接收文本和多模态数据，特殊标记层通过N个可学习标记划分词汇表，因果隐藏状态层则生成稀疏权重。

关键创新：UEmbed的主要创新在于将稀疏和密集嵌入统一到一个模型中，突破了传统方法的局限，提供了更高效的多模态检索能力。

关键设计：模型设计中，N个特殊标记的数量和词汇划分是关键参数，损失函数采用了适应性稀疏损失，网络结构则基于解码器架构进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UEmbed在MMEB-v2上取得了71.8的密集嵌入和71.0的稀疏嵌入，显著优于现有的多模态嵌入模型，如RzenEmbed。此外，在BEIR基准上，UEmbed与强大的稠密和稀疏基线保持竞争力，展示了其有效性和效率。

🎯 应用场景

UEmbed的研究成果在信息检索、推荐系统和自然语言处理等领域具有广泛的应用潜力。通过统一稀疏和密集嵌入，UEmbed能够提升多模态数据的处理效率，推动智能搜索和生成系统的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Sparse retrieval underpins modern search systems, from web search to retrieval-augmented generation. Existing work has introduced Learned Sparse Retrieval (LSR) to push beyond exact lexical matching toward richer semantics. Yet LSR has so far remained tied to encoder-style bidirectional architectures, and its extension to multimodal settings still relies heavily on auxiliary cross-modal modules. To address these limitations, we introduce UEmbed (Unified Embedding), a decoder-only multimodal embedding model that produces both sparse lexical and dense representations in one causal forward pass. UEmbed appends N learnable special tokens to the input and partitions the vocabulary into N disjoint subsets. Each token's causal hidden state predicts sparse weights over its assigned subset, and the N subsets are concatenated into the full sparse vector. Trained on public data, we release UEmbed at 2B, 4B, and 9B scales. UEmbed-9B reaches 71.8 (dense) and 71.0 (sparse) on MMEB-v2, outperforming multimodal embedding models trained on publicly available data (e.g., RzenEmbed). On BEIR, UEmbed also remains competitive with strong dense and sparse baselines. Furthermore, we demonstrate the practical utility of UEmbed across three dimensions: effectiveness, efficiency, and agentic applications. Overall, UEmbed offers a new paradigm: it unifies dense and sparse embeddings in one model, while further extending sparse retrieval to unify text and multimodal inputs.