DiCE-CIR: Direct Composition Learning for Efficient Zero-Shot Composed Image Retrieval

📄 arXiv: 2607.04665v1 📥 PDF

作者: Gwang-Ho Na, Ho-Joong Kim, Seong-Whan Lee

分类: cs.CV

发布日期: 2026-07-06

💡 一句话要点

提出DiCE-CIR以解决零-shot复合图像检索效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 复合图像检索 多模态查询 直接组合学习 图像-文本对

📋 核心要点

  1. 现有的ZS-CIR方法依赖于投影技术，导致训练复杂性增加和效率降低。
  2. DiCE-CIR通过直接组合参考图像和编辑文本，简化了查询表示的生成过程。
  3. 实验结果显示，DiCE-CIR在CIRCO基准上实现了最先进的性能，并在CIRR上表现出竞争力。

📝 摘要（中文）

零-shot复合图像检索（ZS-CIR）旨在从包含参考图像和描述所需修改的编辑文本的多模态查询中检索目标图像。现有的ZS-CIR研究依赖于基于投影的方法，将参考图像映射到文本嵌入空间的伪词标记中。然而，这些方法需要额外的投影和重新编码步骤，增加了训练复杂性，降低了效率，并引入了训练与推理之间的差异。本文提出了DiCE-CIR，一种直接组合学习方法，通过直接组合参考图像和编辑文本来预测组合查询表示。为了实现可扩展的训练而无需手动标注的三元组，我们利用大型语言模型从大规模图像-标题对中自动构建组合训练样本。基于这些样本，我们训练了一个轻量级组合模块，其目标是促进与目标的对齐、编辑一致的语义转换和检索可区分性。我们在ZS-CIR基准上进行了广泛的实验，结果表明DiCE-CIR在CIRCO上达到了最先进的性能，并在CIRR上表现出竞争力，同时保持了高计算效率。

🔬 方法详解

问题定义：本文解决的是零-shot复合图像检索中的效率问题。现有方法依赖于投影技术，导致训练过程复杂且效率低下，同时在训练和推理阶段存在差异。

核心思路：DiCE-CIR的核心思路是直接组合参考图像和编辑文本，避免了额外的投影和重新编码步骤，从而提高了效率和准确性。

技术框架：该方法的整体架构包括三个主要模块：首先，利用大型语言模型自动构建组合训练样本；其次，训练一个轻量级的组合模块；最后，通过优化目标促进与目标的对齐和检索可区分性。

关键创新：DiCE-CIR的最重要创新在于其直接组合学习方法，区别于传统的投影方法，显著降低了训练复杂性并提高了效率。

关键设计：在设计中，采用了自动构建的组合训练样本，损失函数设置为促进目标对齐和编辑一致性，同时确保检索的可区分性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiCE-CIR在CIRCO基准上达到了最先进的性能，具体表现为相较于现有方法提升了检索准确率，同时在CIRR基准上也展现出竞争力，保持了高计算效率，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像搜索引擎、社交媒体内容检索以及在线购物平台的图像推荐系统。通过提高零-shot复合图像检索的效率，DiCE-CIR能够为用户提供更快速、准确的图像检索体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Zero-shot composed image retrieval (ZS-CIR) aims to retrieve a target image from a multimodal query consisting of a reference image and an edit text describing the desired modification. Recent ZS-CIR studies have relied on projection-based methods that map a reference image into pseudo-word tokens in the text embedding space. However, such methods require additional projection and re-encoding steps, increasing training complexity, reducing efficiency, and introducing a discrepancy between training and inference. In this paper, we propose DiCE-CIR, a direct composition learning method that predicts composed query representations by directly composing a reference image and an edit text. To enable scalable training without manually annotated triplets, we automatically construct compositional training samples from large-scale image-caption pairs using a large language model. Based on these samples, we train a lightweight composition module with objectives that promote alignment with the target, edit-consistent semantic transformation, and retrieval discriminability. We conduct extensive experiments on ZS-CIR benchmarks and show that DiCE-CIR achieves state-of-the-art performance on CIRCO and competitive performance on CIRR while maintaining high computational efficiency.