Douyin Multimodal Embedding Model Technical Report

📄 arXiv: 2608.02148v1 📥 PDF

作者: Haonan Chen, Chu Li, Zhicheng Wang, Yuanwei Liu, Yuanjiang Wang, Shaohua Jiang, Zhicheng Dou

分类: cs.IR, cs.CL, cs.CV

发布日期: 2026-08-03

备注: Technical Report

💡 一句话要点

提出Douyin多模态嵌入模型以解决高效检索与细粒度匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 对比学习 生成模型 语义充分性 检索优化 Douyin应用 深度学习

📋 核心要点

  1. 现有多模态嵌入模型在处理复杂模态和大规模内容时，难以兼顾效率与细粒度匹配。
  2. DME模型通过两阶段训练，第一阶段进行大规模对比预训练，第二阶段通过证据驱动的潜在推理和交叉条件重构增强语义充分性。
  3. 在MMEB-v2数据集上，DME的2B和9B变体分别达到了74.8和78.4的状态-of-the-art结果，并在Douyin的实际应用中实现了2.92%的相对增益。

📝 摘要（中文）

多模态表示学习是现代人工智能的基石。通过将多模态查询和目标编码为向量，它推动了工业搜索和推荐，并支撑现代智能体。现有的多模态嵌入模型在处理复杂模态和大规模内容时，往往无法兼顾效率与细粒度区分。对比模型效率高，但依赖于粗糙的对级监督，难以实现细粒度区分；而基于生成的模型虽然提高了区分度，但在线服务中不够实用。本文提出的Douyin多模态嵌入模型（DME）通过两阶段训练结合了两者的优点，达到在MMEB-v2上取得最先进的结果，并在Douyin的实际应用中显著提升了搜索性能。

🔬 方法详解

问题定义：本文旨在解决现有多模态嵌入模型在效率和细粒度匹配上的不足，尤其是在处理复杂模态和大规模内容时的挑战。现有对比模型依赖粗糙的对级监督，难以实现细粒度区分，而基于生成的模型在在线服务中不够实用。

核心思路：DME模型通过两阶段训练结合了对比模型的高效性和生成模型的细粒度区分能力。第一阶段进行大规模对比预训练，建立统一的多模态嵌入空间；第二阶段通过引入证据驱动的潜在推理和交叉条件重构，增强嵌入的语义充分性。

技术框架：DME的整体架构分为两个主要阶段：第一阶段为对比预训练，建立多模态嵌入空间；第二阶段为语义增强，通过证据驱动的潜在推理和交叉条件重构来实现。

关键创新：DME的核心创新在于结合了对比学习和生成模型的优点，采用证据驱动的潜在推理和交叉条件重构机制，确保嵌入的语义充分性和细粒度区分能力。与现有方法相比，DME在保持高效性的同时，显著提升了模型的区分能力。

关键设计：DME在训练过程中引入了证据驱动的潜在推理机制，通过隐藏空间的推理组织检索证据；同时，交叉条件重构机制通过交叉方向的自回归重构来强化对方语义。这些机制仅在训练阶段生效，且对查询侧的开销极小，使得DME在效率上与标准对比编码器相当。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在MMEB-v2数据集上，DME的2B和9B变体分别达到了74.8和78.4的状态-of-the-art结果，尤其在视频和视觉文档任务上表现突出。在Douyin的实际应用中，DME在离线评估集上实现了2.92%的相对增益，并在在线A/B测试中获得了0.1%的Lifetime增益。

🎯 应用场景

DME模型在多模态检索和推荐系统中具有广泛的应用潜力，尤其适用于内容丰富且复杂的社交媒体平台，如Douyin、Xiaohongshu和YouTube。其高效的检索能力和细粒度的匹配能力，将为用户提供更精准的搜索体验，推动个性化推荐的发展。

📄 摘要（原文）

Multimodal representation learning is a cornerstone of modern AI. By encoding multimodal queries and targets into vectors, it powers industrial search and recommendation and underpins modern agents. Real-world platforms with complex modalities and massive-scale content, such as Douyin, Xiaohongshu, and YouTube, demand both efficiency under billion-scale indexing and fine-grained discrimination for hard matching. Existing MLLM embedding models rarely satisfy both. Contrastive models are efficient but rely on pair-level supervision too coarse for fine-grained distinctions, while CoT-based models improve discrimination through explicit generation impractical to serve online. We present Douyin Multimodal Embedding (DME), a model trained in two stages to combine both strengths. Stage 1 performs large-scale contrastive pre-training that establishes a unified multimodal embedding space with broad modality and task coverage. Stage 2 supplements semantic sufficiency, the property that an embedding is grounded in retrieval-relevant evidence and preserves fine-grained counterpart-side semantics, via two mechanisms. Evidence-Grounded Typed Latent Reasoning organizes retrieval evidence through hidden-space latent reasoning, and Cross-Conditional Reconstruction enforces counterpart-side semantics through cross-directional autoregressive reconstruction. Both act only during training and add only marginal query-side overhead, so DME serves as efficiently as a standard contrastive encoder. On MMEB-v2, DME reaches state-of-the-art results at comparable scales for its 2B and 9B variants (74.8 and 78.4), with especially strong video and visual-document tasks. In production, DME delivers a 2.92% relative gain on Douyin's in-house offline evaluation set, is deployed across Douyin scenarios such as generative, image, and AI search, and yields a 0.1% Lifetime (LT) gain in online A/B testing on Douyin search.