LaME: Learning to Think in Latent Space for Multimodal Embedding via Information Bottleneck

📄 arXiv: 2606.13061 📥 PDF

作者: Peixi Wu, Biao Yang, Feipeng Ma, Bosong Chai, Bo Lin, Wei Yuan, Fan Yang, Tingting Gao, Hebei Li, Xiaoyan Sun

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出LaME以解决多模态嵌入中的推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 信息瓶颈 推理效率 弱监督学习 链式思维 深度学习

📋 核心要点

  1. 现有的推理驱动多模态嵌入方法在计算效率和注释质量上存在显著不足，限制了其实际应用。
  2. LaME通过将推理过程转化为弱监督的信息瓶颈，利用可学习的推理令牌实现高效的潜在推理。
  3. 实验结果显示，LaME在多个基准数据集上表现优异，推理速度显著提升，超越了传统的显式CoT模型。

📝 摘要（中文）

基于推理驱动的通用多模态嵌入通过将链式思维（CoT）推理引入嵌入流程取得了快速进展。然而，该范式存在两个核心限制：自回归CoT推理计算成本高，且嵌入性能严重依赖于CoT注释质量。为此，本文提出LaME（潜在推理多模态嵌入），将嵌入导向的潜在推理形式化为弱监督信息瓶颈，采用K个可学习的推理令牌作为固定容量瓶颈，确保在单次前向传播中完成所有推理。实验表明，LaME在MMEB-v2和MRMR数据集上表现出色，推理速度比显式CoT方法快60倍，且在某些情况下超越了显式CoT模型。

🔬 方法详解

问题定义：本文旨在解决现有多模态嵌入方法在推理效率和注释依赖性方面的痛点，特别是自回归CoT推理的高计算成本和对高质量注释的依赖。

核心思路：LaME提出了一种将嵌入导向的推理形式化为弱监督信息瓶颈的方式，利用K个可学习的推理令牌作为固定容量瓶颈，从而在单次前向传播中完成推理，降低计算复杂度。

技术框架：LaME的整体架构包括两个主要阶段：首先是通过弱监督信号解耦对比目标与自回归目标，其次是通过两阶段训练管道确保稳定收敛。

关键创新：LaME的主要创新在于引入了可学习的推理令牌和信息瓶颈的概念，显著减少了对CoT注释的依赖，并提高了推理效率，与现有方法形成鲜明对比。

关键设计：在设计中，LaME采用了固定容量的推理令牌，结构上解耦了不同的目标函数，确保了训练过程的稳定性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LaME在MMEB-v2和MRMR数据集上取得了竞争力的性能，推理速度比显式CoT方法快60倍，且在某些任务上超越了传统的显式CoT模型，展示了其在效率和效果上的显著提升。

🎯 应用场景

LaME的研究成果在多模态学习、信息检索和自然语言处理等领域具有广泛的应用潜力。其高效的推理能力能够支持实时数据处理和分析，推动智能系统的进一步发展，尤其是在需要快速响应的场景中。

📄 摘要（原文）

Reasoning-driven universal multimodal embedding has advanced rapidly by introducing Chain-of-Thought (CoT) reasoning into the embedding pipeline. Despite the strong performance across both general and complex tasks, this paradigm suffers from two core limitations: (i) autoregressive CoT reasoning incurs high computational cost, making it impractical for low-latency retrieval; and (ii) embedding performance is heavily coupled with CoT annotation quality, making large-scale training unreliable. These raise fundamental questions: Is textual CoT the optimal form of reasoning for embedding, and can effective embedding reasoning be accomplished in latent space? To this end, we propose LaME (Latent Reasoning Multimodal Embedding), which formulates embedding-oriented latent reasoning as a weakly supervised information bottleneck. LaME employs K learnable reason tokens as a fixed-capacity bottleneck, completing all reasoning within a single forward pass. The two weak supervision signals structurally decouple contrastive from autoregressive objectives and eliminate dependence on CoT annotations, while a two-stage training pipeline ensures stable convergence. Experiments on MMEB-v2 and MRMR show that LaME achieves competitive performance, surpassing some explicit CoT-based models, while delivering 60x faster inference than explicit CoT methods and 2x faster than latent baselines with throughput comparable to discriminative embedding models. Code will be released.