Factorized MLLM Embeddings for Composed Image Retrieval

📄 arXiv: 2611.05193v1 📥 PDF

作者: WonJun Moon, Seongchan Kim, Dahun Kim, Seungryong Kim

分类: cs.CV, cs.IR

发布日期: 2026-11-03

备注: Project page: https://cvlab-kaist.github.io/FactEmbed/, Code: https://github.com/cvlab-kaist/FactEmbed

💡 一句话要点

提出因子化MLLM嵌入以解决复合图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复合图像检索 多模态大语言模型 因子化嵌入 对比学习 视觉修改 潜变量模拟

📋 核心要点

  1. 现有方法在复合图像检索中未能充分利用多模态大语言模型的组合理解能力，导致性能不足。
  2. 提出因子化MLLM嵌入（FactEmbed），通过因子化潜变量模拟视觉修改，解耦查询理解与嵌入构建。
  3. FactEmbed在多个CIR基准测试中表现优异，超越了以往的方法，显示出显著的性能提升。

📝 摘要（中文）

复合图像检索（CIR）旨在根据参考图像和修改文本检索目标图像。尽管近期利用多模态大语言模型（MLLM）的研究取得了显著进展，但我们认为MLLM的组合理解仍未得到充分利用。现有方法仅通过对比监督将组合查询直接映射到检索嵌入，而未明确解决预期的视觉修改。本文提出因子化MLLM嵌入（FactEmbed），将组合查询理解与构建判别嵌入解耦。FactEmbed通过一组因子化潜变量模拟预期的视觉修改，鼓励潜变量在形成检索的判别表示之前扎根于目标语义。实验表明，FactEmbed在CIR基准测试中优于先前的工作。

🔬 方法详解

问题定义：本文解决复合图像检索中的组合查询理解不足的问题。现有方法仅依赖对比监督直接映射查询到嵌入，未能有效处理视觉修改的意图。

核心思路：论文提出因子化MLLM嵌入（FactEmbed），通过因子化潜变量来模拟视觉修改，确保在形成检索嵌入之前，潜变量能够扎根于目标语义。

技术框架：整体架构包括因子化潜变量的生成、通过中间目标进行想象、优化因子级对比损失，以及在深层注意力层中提取分解表示。

关键创新：FactEmbed的核心创新在于将组合查询理解与嵌入构建解耦，采用因子化潜变量进行内部推理，显著提升了检索性能。

关键设计：采用因子级对比损失进行优化，保留[EOS]标记以建立全局嵌入，并利用均值池化的因子化潜变量进行候选列表的重排序，所有操作均在同一次前向传递中完成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FactEmbed在多个复合图像检索基准测试中均优于现有方法，具体性能提升幅度达到X%，展示了其在处理复杂查询时的有效性和优势。

🎯 应用场景

该研究在复合图像检索领域具有重要应用潜力，能够提升图像搜索引擎和多媒体检索系统的性能。随着多模态技术的发展，FactEmbed的思路可扩展至其他视觉-语言任务，推动相关领域的研究进展。

📄 摘要（原文）

Composed Image Retrieval (CIR) aims to retrieve a target image given a reference image and a modification text. Although recent approaches leveraging Multimodal Large Language Models (MLLMs) have shown significant progress, we argue that the MLLM's compositional understanding remains underutilized. This stems from directly mapping composed queries into a retrieval embedding via contrastive supervision alone, without explicitly resolving the intended visual modifications. In this work, we introduce Factorized MLLM Embeddings (FactEmbed), which decouples compositional query comprehension from building discriminative embeddings. Rather than directly projecting the composed query into a single embedding without internal reasoning, FactEmbed employs a set of factorized latents that simulate the intended visual modifications via an intermediate target imagination objective. This process encourages the latents to ground into target semantics before forming discriminative representations for retrieval. Subsequently, to propagate these factorized representations throughout the model for retrieval, we optimize a factor-level contrastive loss while distilling the decomposed representations into a deeper attention layer of the MLLM. Finally, for efficient inference, we retain the [EOS] token to establish a global-level embedding on top of these factorized latents, while we exploit the mean-pooled factorized latents to rerank a short candidate list at negligible cost, as both are produced by the same forward pass. Extensive evaluations demonstrate that FactEmbed outperforms prior works across CIR benchmarks.