CoCo-IR: Contextual Composed Image Retrieval

📄 arXiv: 2608.05149v1 📥 PDF

作者: Shengcao Cao, Tanmaya Shekhar Dabral, Zhongli Ding, Madhuri Shanbhogue, Kaifeng Chen, Zhe Li, Mojtaba Seyedhosseini, Yu-Xiong Wang, Liang-Yan Gui

分类: cs.CV

发布日期: 2026-08-05

备注: ECCV 2026

💡 一句话要点

提出CoCo-IR以解决复杂视觉搜索中的多轮交互问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像检索 多轮交互 上下文感知 多模态模型 动态嵌入

📋 核心要点

  1. 现有的图像检索系统在处理复杂的多轮交互时存在局限，无法有效捕捉用户的逐步优化需求。
  2. 本文提出CoCo-IR任务，通过上下文感知的推理模型，支持用户在多轮交互中逐步优化检索结果。
  3. 实验表明，CoCo-IR模型在多个基准测试中表现优异，特别是在4轮对话中显著提升了检索准确率。

📝 摘要（中文）

当前基于指令的图像检索系统虽然强大，但仅限于单轮交互，无法捕捉复杂现实视觉搜索的迭代特性。为了解决这一局限性，本文提出了上下文组合图像检索（CoCo-IR），一种新任务，允许用户通过交互逐步优化搜索结果。我们提出了一种基于大型多模态模型（LMM）的新模型，作为CoCo-IR的上下文感知推理器，能够解释整个交互历史，生成可变形图像嵌入（TIE），并在多个回合中演变。为支持模型训练，我们开发了一种完全自主、可扩展的数据引擎，利用LMM生成高质量的上下文检索数据，并通过模型引导验证挖掘具有挑战性的难负样本。实验结果表明，我们的方法在性能上达到了新的最优状态：在单轮基准CIRCO上取得39.4 mAP@5，在新的CoCo-IR基准上，模型在4轮对话中保持了44.1 R@1的强大表现，显著超越现有方法（28.2 4-turn R@1），后者无法处理多轮上下文。

🔬 方法详解

问题定义：当前的图像检索系统通常只能处理单轮交互，无法满足用户在复杂视觉搜索中的迭代需求，导致检索效果不佳。

核心思路：本文提出的CoCo-IR任务允许用户通过多轮交互逐步优化搜索结果，利用上下文感知的推理模型来生成动态的图像嵌入。

技术框架：模型基于大型多模态模型（LMM），通过解释整个交互历史生成可变形图像嵌入（TIE）。数据引擎则自动生成高质量的上下文检索数据，并通过模型引导验证挖掘难负样本。

关键创新：最重要的创新在于引入了上下文感知的推理机制，使得图像嵌入能够在多轮交互中动态演变，从而有效捕捉用户意图。

关键设计：模型设计中采用了特定的损失函数来优化多轮交互的效果，并在网络结构上进行了调整，以支持上下文信息的有效整合。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CoCo-IR模型在单轮基准CIRCO上达到了39.4 mAP@5的成绩，而在新的CoCo-IR基准上，模型在4轮对话中实现了44.1 R@1，显著高于现有方法的28.2 4-turn R@1，展示了其在多轮上下文处理中的优势。

🎯 应用场景

CoCo-IR的研究成果在多个领域具有潜在应用价值，包括在线购物、社交媒体内容检索和教育领域的视觉搜索等。通过支持多轮交互，用户能够更高效地找到所需的图像，提升用户体验。未来，该技术可能会推动更智能的图像检索系统的发展，满足日益复杂的用户需求。

📄 摘要（原文）

Current instruction-based image retrieval systems are powerful but limited to single-turn interactions, failing to capture the iterative nature of complex, real-world visual searches. To overcome this limitation, we introduce Contextual Composed Image Retrieval (CoCo-IR), a novel task that enables users to progressively refine search results through interactions. We address this new task by proposing a new model based on a Large Multimodal Model (LMM) that functions as a context-aware reasoner for CoCo-IR. Our model interprets the entire interaction history to generate Transformable Image Embeddings (TIE) that evolve across turns. To fuel the model training without expensive human annotations, we develop a fully autonomous, scalable data engine that leverages LMMs to generate high-quality contextual retrieval data, and uses model-guided verification to mine challenging hard negatives. Extensive experiments demonstrate that our approach establishes new state-of-the-art performance: We achieve 39.4 mAP@5 on the challenging single-turn benchmark CIRCO; furthermore, on our new CoCo-IR benchmark, our model maintains robust performance with 44.1 R@1 on 4-turn dialogues, dramatically outperforming existing methods (28.2 4-turn R@1) that fail to handle multi-turn context. Project page: https://CoCo-IR.github.io.