LaME: Learning to Think in Latent Space for Multimodal Embedding via Information Bottleneck

📄 arXiv: 2606.13061v1 📥 PDF

作者: Peixi Wu, Biao Yang, Feipeng Ma, Bosong Chai, Bo Lin, Wei Yuan, Fan Yang, Tingting Gao, Hebei Li, Xiaoyan Sun

分类: cs.CV

发布日期: 2026-06-11

💡 一句话要点

提出LaME以解决多模态嵌入中的推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 潜在推理 信息瓶颈 弱监督学习 推理效率 Chain-of-Thought

📋 核心要点

  1. 现有的基于CoT推理的多模态嵌入方法计算成本高，且对注释质量依赖性强，影响大规模训练的可靠性。
  2. LaME通过将嵌入导向的潜在推理形式化为弱监督信息瓶颈，使用可学习的推理标记来提高推理效率。
  3. 实验结果显示，LaME在推理速度上比显式CoT方法快60倍，并在某些任务上超越了显式CoT模型，展现出良好的性能。

📝 摘要（中文）

基于Chain-of-Thought（CoT）推理的通用多模态嵌入取得了显著进展，但仍面临高计算成本和对CoT注释质量的依赖等核心问题。为此，本文提出LaME（潜在推理多模态嵌入），将嵌入导向的潜在推理形式化为弱监督信息瓶颈。LaME使用K个可学习的推理标记作为固定容量瓶颈，在单次前向传播中完成所有推理。通过结构性解耦对比目标与自回归目标，消除了对CoT注释的依赖，同时采用两阶段训练管道确保稳定收敛。实验结果表明，LaME在MMEB-v2和MRMR数据集上表现出色，推理速度比显式CoT方法快60倍，且在某些情况下超越了显式CoT模型。

🔬 方法详解

问题定义：本文旨在解决现有多模态嵌入方法中，基于CoT推理的高计算成本和对注释质量的强依赖问题。这些问题导致了低延迟检索的不可行性和大规模训练的不可靠性。

核心思路：LaME提出将嵌入导向的潜在推理视为弱监督信息瓶颈，通过使用K个可学习的推理标记，能够在单次前向传播中完成所有推理，从而提高效率并减少对CoT注释的依赖。

技术框架：LaME的整体架构包括两个主要阶段：首先是通过可学习的推理标记构建固定容量的瓶颈，其次是通过两阶段训练管道确保模型的稳定收敛。

关键创新：LaME的核心创新在于将推理过程结构性解耦为对比目标与自回归目标，显著降低了对CoT注释的依赖，且在推理效率上实现了突破。

关键设计：在技术细节上，LaME设计了固定容量的推理标记，采用了特定的损失函数以优化对比学习和推理过程，同时确保了模型在训练过程中的稳定性。通过这样的设计，LaME能够在保持高效推理的同时，提升嵌入性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LaME在MMEB-v2和MRMR数据集上表现优异，推理速度比显式CoT方法快60倍，且在某些任务中超越了显式CoT模型，展现出良好的性能和实用性。

🎯 应用场景

LaME的研究成果在多模态检索、图像与文本的联合理解、智能问答系统等领域具有广泛的应用潜力。其高效的推理能力和对注释依赖的降低，将为实际应用提供更快速和可靠的解决方案，推动相关技术的发展与普及。

📄 摘要（原文）

Reasoning-driven universal multimodal embedding has advanced rapidly by introducing Chain-of-Thought (CoT) reasoning into the embedding pipeline. Despite the strong performance across both general and complex tasks, this paradigm suffers from two core limitations: (i) autoregressive CoT reasoning incurs high computational cost, making it impractical for low-latency retrieval; and (ii) embedding performance is heavily coupled with CoT annotation quality, making large-scale training unreliable. These raise fundamental questions: Is textual CoT the optimal form of reasoning for embedding, and can effective embedding reasoning be accomplished in latent space? To this end, we propose LaME (Latent Reasoning Multimodal Embedding), which formulates embedding-oriented latent reasoning as a weakly supervised information bottleneck. LaME employs K learnable reason tokens as a fixed-capacity bottleneck, completing all reasoning within a single forward pass. The two weak supervision signals structurally decouple contrastive from autoregressive objectives and eliminate dependence on CoT annotations, while a two-stage training pipeline ensures stable convergence. Experiments on MMEB-v2 and MRMR show that LaME achieves competitive performance, surpassing some explicit CoT-based models, while delivering 60x faster inference than explicit CoT methods and 2x faster than latent baselines with throughput comparable to discriminative embedding models. Code will be released.