EmbeddingGemma 2: Unified and Efficient Multimodal Representations

📄 arXiv: 2610.37364v1 📥 PDF

作者: Henrique Schechter Vera, Sahil Dua, Jovan Andonov, Sara Smoot, Sebastian Russo, Ivan Llanos, Max Matveev, Jae Hyeon Yoo, Kat Black, Shih-Cheng Huang, Josiah Aklilu, Maarten Grootendorst, Omar Sanseviero, Chandramouli Amarnath, Ian Ballantyne, Zhe Li, Daniel Salz, Ibrahim Alabdulmohsin, Ilya Philippov, Kristen Quan, Glenn Cameron, Edouard Yvinec, Luciano Martins, Doug Reid, Sindhu Raghuram Panyam, Weiyi Wang, Hengxuan Ying, Madhuri Shanbhogue, Tanmaya Dabral, Shanfeng Zhang, Juyeong Ji, Renjie Wu, Joe Zou, Xu Chen, Yunan Zhang, Yu-Hui Chen, Matthew Soulanille, Vinod Mamillapalli, Yi-Chun Kuo, Wai Hon Law, Matt Kreileder, Alice Zheng, Suril Shah, Mogan Shieh, Pooja Consul, Alberto Montes, Andreas Hess, Andres Sevilla, Babak Samari, Brendan McCloskey, Brian Potetz, Daniel Cer, Georgios Kathareios, Gustavo Hernández Ábrego, Hesen Zhang, Ji Ma, Jiaxing Wu, Keegan Mosley, Paul Suganthan, Rui Meng, Shen Gao, Shengcao Cao, Yi-Ting Chen, Yichang Chen, Zhongli Ding, Kendra Byrne, Cormac Brick, Olivier Lacombe, Qin Yin, Tris Warkentin, Armand Joulin, Tom Duerig, Mojtaba Seyedhosseini

分类: cs.LG, cs.CL, cs.CV, cs.SD

发布日期: 2026-10-27

备注: 28 pages. Models are available on HuggingFace (at https://huggingface.co/google/embeddinggemma-2) and LiteRT (at https://huggingface.co/litert-community/embeddinggemma-2-740m-litert-lm)

💡 一句话要点

提出EmbeddingGemma 2以实现统一高效的多模态表示

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态表示 嵌入模型 统一空间 资源受限环境 跨模态评估

📋 核心要点

  1. 现有多模态模型在处理不同模态数据时存在效率低下和灵活性不足的问题。
  2. EmbeddingGemma 2通过统一的嵌入空间和多阶段课程设计，提升了多模态数据的表示能力和质量。
  3. 在各类嵌入基准测试中，EmbeddingGemma 2超越了现有的专业模型，且在资源受限环境中表现出色。

📝 摘要（中文）

我们提出了EmbeddingGemma 2，这是一个开放的多模态嵌入模型，能够在统一空间中原生表示文本、图像、音频、视频及其组合。我们的方法引入了简化的每层嵌入和多阶段课程，确保在单模态、跨模态和混合模态评估中都能保持高质量。在全面的嵌入基准测试中，EmbeddingGemma 2建立了新的Pareto前沿，超越了专业模型和规模大两到十二倍的模型。此外，我们的设计为资源受限的环境提供了灵活性，支持选择性模态编码器加载、可调的视觉令牌预算、可截断的嵌入维度和量化权重。我们还进行了关键决策的消融分析，并发布了EmbeddingGemma 2以促进进一步研究。

🔬 方法详解

问题定义：本论文旨在解决现有多模态模型在处理不同模态数据时的效率低下和灵活性不足的问题。现有方法往往无法在统一空间中有效表示多种模态，导致性能受限。

核心思路：EmbeddingGemma 2的核心思想是通过简化的每层嵌入和多阶段课程设计，确保在不同模态的评估中都能保持高质量的表示。这样的设计使得模型在处理单模态、跨模态和混合模态时都能表现优异。

技术框架：EmbeddingGemma 2的整体架构包括多个主要模块，首先是模态编码器，其次是嵌入层和多阶段课程设计，最后是评估模块。每个模块都经过精心设计，以确保在不同任务中的高效性和灵活性。

关键创新：本论文的最重要技术创新在于建立了新的Pareto前沿，超越了专业模型和规模更大的模型。通过统一的嵌入空间和灵活的参数设置，EmbeddingGemma 2在多模态表示上实现了显著的提升。

关键设计：在关键设计上，EmbeddingGemma 2支持选择性模态编码器加载、可调的视觉令牌预算、可截断的嵌入维度和量化权重。这些设计使得模型在资源受限的环境中也能高效运行。

🖼️ 关键图片

fig_0

📊 实验亮点

在全面的嵌入基准测试中，EmbeddingGemma 2建立了新的Pareto前沿，超越了现有的专业模型和规模大两到十二倍的模型，展现出卓越的性能提升，具体数据未提供。

🎯 应用场景

EmbeddingGemma 2的潜在应用领域包括智能助手、自动内容生成、跨模态检索等。其统一的多模态表示能力使得不同类型的数据可以更高效地融合与处理，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We present EmbeddingGemma 2, an open multimodal embedding model which natively represents text, images, audio, video, and combinations thereof in a unified space. Our approach introduces improvements such as simplified per-layer embeddings and a multi-stage curriculum with modality and objective progression which ensure strong quality across unimodal, cross-modal, and mixed-modal evaluations. Notably, in comprehensive embedding benchmarks across all modalities, EmbeddingGemma 2 establishes a new Pareto frontier, outperforming both specialist models and models two to twelve times larger. Furthermore, our design offers flexibility for resource-constrained environments, supporting selective modality encoder loading, adjustable vision token budgets, truncatable embedding dimensions, and quantized weights. We present ablations analyzing key decisions and release EmbeddingGemma 2 to promote further research.