WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report

📄 arXiv: 2608.24053v1 📥 PDF

作者: Junjie Zhou, Ke Mei, Lei Li, Tianyi Wang, Fengyun Rao, Jing Lyu

分类: cs.CV, cs.CL, cs.IR

发布日期: 2026-08-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出WeMM-Embedding以解决多模态嵌入问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 跨模态对齐 深度学习 推荐系统 微信应用

📋 核心要点

  1. 现有多模态嵌入方法在处理异构内容时存在性能瓶颈，难以实现高效的跨模态对齐与表示。
  2. WeMM-Embedding通过两阶段训练策略，结合大规模对齐与细粒度监督，提升了多模态嵌入的质量与灵活性。
  3. 在多个基准测试中，WeMM-Embedding的2B和9B变体分别超越了现有的开源基线，展现出显著的性能提升。

📝 摘要（中文）

通用多模态嵌入已成为现代AI系统的核心组成部分，使异构内容能够在共享空间中表示，应用于检索、推荐、分类和智能系统等场景。本报告介绍了WeMM-Embedding，这是一系列支持文本、图像、视频、视觉文档及任意交错多模态输入的通用多模态嵌入模型，具有灵活的输出维度。该系列包括2B、4B和9B变体，采用两阶段训练：首先进行大规模多模态对齐阶段，然后使用精心策划的数据、细粒度相关性监督和跨尺度知识转移进行精细化。经过广泛评估，WeMM-Embedding在多个公共基准上取得了领先性能，尤其是2B变体已超越先前的8B开源基线，9B变体则达到了80.6的新状态。WeMM-Embedding在微信应用中表现出强大的实际性能，已在推荐和搜索应用中大规模部署。

🔬 方法详解

问题定义：本论文旨在解决现有多模态嵌入方法在处理异构内容时的性能不足，尤其是在跨模态对齐和表示的准确性方面存在挑战。

核心思路：WeMM-Embedding通过引入两阶段训练策略，首先进行大规模的多模态对齐，然后利用精细化的数据和监督机制，提升嵌入模型的表现和灵活性。

技术框架：整体架构分为两个主要阶段：第一阶段是大规模多模态对齐，第二阶段是基于精心策划的数据进行的细化训练，确保模型在不同模态间的有效对齐与表示。

关键创新：WeMM-Embedding的核心创新在于其灵活的输出维度和对多模态输入的支持，尤其是在处理复杂的交错输入时，显著提升了模型的适应性和性能。

关键设计：在模型设计中，采用了多层次的损失函数和网络结构，以确保在不同模态间的有效信息传递和对齐，同时通过跨尺度知识转移增强模型的泛化能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

WeMM-Embedding在多个公共基准测试中表现优异，2B变体超越了先前的8B开源基线，而9B变体则达到了80.6的全新状态。此外，在微信的26项内部基准测试中也取得了显著的性能提升，在线A/B测试中表现出一致的改进。

🎯 应用场景

WeMM-Embedding在多个实际应用场景中展现出强大的潜力，特别是在微信的推荐和搜索系统中。其灵活的多模态支持使得在社交媒体、电子商务等领域的内容检索和个性化推荐变得更加高效，未来可望在更多AI应用中发挥重要作用。

📄 摘要（原文）

Universal multimodal embeddings are becoming a core component of modern AI systems, enabling heterogeneous content to be represented in a shared space for applications such as retrieval, recommendation, classification, and agentic systems. In this report, we present WeMM-Embedding, a family of universal multimodal embedding models supporting text, images, videos, visual documents, and arbitrarily interleaved multimodal inputs with flexible output dimensions. The family comprises 2B, 4B, and 9B variants and is trained in two stages: a large-scale multimodal alignment stage, followed by a refinement stage using curated data, fine-grained relevance supervision, and cross-scale knowledge transfer. Across extensive evaluations, WeMM-Embedding achieves leading performance on multiple public benchmarks. Notably, the 2B variant already surpasses the previously leading 8B open-source baseline on MMEB-v2, while the 9B variant further achieves a new state-of-the-art overall score of 80.6. WeMM-Embedding also demonstrates strong practical performance across WeChat applications, with substantial gains on a 26-task in-house benchmark and consistent improvements across 14 online A/B tests. It has been deployed at scale across recommendation and search applications, including WeChat Channels, Official Accounts, Moments, and e-commerce services. We have released the model weights and code to facilitate future research at https://github.com/Tencent/WeMM-Embedding.