FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

📄 arXiv: 2607.02284 📥 PDF

作者: Zhenqi He, Ziqi Jiang, Yuanpei Liu, Yanghao Wang, Teng Wang, Long Chen

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出FlowCIR以解决零-shot组合图像检索中的语义传输问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 零-shot学习 组合图像检索 条件流匹配 语义传输 视觉语言模型 多负引导策略 图像处理 深度学习

📋 核心要点

  1. 现有ZS-CIR方法依赖文本反转，导致在细粒度语义处理上存在损失和脆弱性。
  2. FlowCIR通过条件流匹配实现参考图像与目标图像之间的语义传输，提升了检索的准确性和效率。
  3. 实验结果显示，FlowCIR在训练资源上减少约10倍，并在多个基准测试中表现优异。

📝 摘要（中文）

零-shot组合图像检索（ZS-CIR）旨在通过自然语言指令编辑参考图像来检索目标图像，而无需依赖特定领域的标注三元组。现有方法多依赖文本反转，将参考图像转换为伪文本标记，并通过简单拼接与指令组合，这在细粒度语义上可能存在损失和脆弱性。本文提出了一种新范式FlowCIR，将ZS-CIR视为参考和目标嵌入之间的条件语义传输。通过条件流匹配，我们的模型学习了一个轻量级的传输场，将指令表示映射到目标对齐的查询嵌入，条件是参考图像。FlowCIR在预提取的VLM嵌入上操作，仅训练一个小型传输模块，未更新图像或文本编码器，相比于先前的文本反转方法，提供了更高的计算效率。实验表明，FlowCIR在标准CIR基准上表现出色，具有竞争力。

🔬 方法详解

问题定义：本文解决零-shot组合图像检索（ZS-CIR）中的语义传输问题，现有方法在细粒度语义处理上存在损失和脆弱性，尤其在处理复杂指令时表现不佳。

核心思路：FlowCIR将ZS-CIR视为条件语义传输，利用条件流匹配学习轻量级传输场，将指令表示映射到目标查询嵌入，基于参考图像进行条件化处理，从而提升检索的准确性和效率。

技术框架：FlowCIR的整体架构包括预提取的视觉语言模型（VLM）嵌入、轻量级传输模块和条件流匹配机制。该框架在训练过程中不更新图像或文本编码器，仅训练传输模块，确保高效性。

关键创新：FlowCIR的主要创新在于引入条件流匹配机制，解决了传统文本反转方法在细粒度语义传输中的不足，显著提高了模型的鲁棒性和准确性。

关键设计：在设计中，FlowCIR采用了轻量级的传输模块，优化了损失函数以适应条件流匹配的需求，同时引入了多负引导策略以处理否定和移除等复杂语义情况。该设计使得模型在处理否定重的查询时表现更为稳健。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FlowCIR在多个标准CIR基准测试中表现优异，相比于先前的文本反转方法，训练资源需求减少约10倍，且在处理包含否定的复杂指令时显著提高了鲁棒性，展现出强大的竞争力。

🎯 应用场景

该研究的潜在应用领域包括图像检索、内容生成和人机交互等。通过提升零-shot组合图像检索的准确性和效率，FlowCIR能够在多种实际场景中提供更为智能的图像处理解决方案，推动相关领域的发展。

📄 摘要（原文）

Zero-shot composed image retrieval (ZS-CIR) aims to retrieve a target image by editing a reference image with a natural-language instruction, without relying on domain-specific annotated triplets. Most existing ZS-CIR methods rely on textual inversion to translate the reference image into pseudo-text tokens and then compose them with the instruction via simple concatenation in the text space, which can be lossy and brittle for fine-grained semantics. In this work, we propose a new paradigm, namely FlowCIR, that casts ZS-CIR as conditional semantic transport between reference and target embeddings. Leveraging \emph{conditional flow matching}, our model learns a lightweight transport field that maps the instruction representation toward a target-aligned query embedding conditioned on the reference image. Since FlowCIR operates on pre-extracted VLM embeddings and trains only a small transport module without updating the image or text encoder, it offers a computationally efficient training protocol compared with prior textual-inversion-based approaches. The resulting framework is training-efficient, requiring roughly $10\times$ fewer training resources than prior textual-inversion-based approaches. We further identify negation and removal as a major failure mode of VLM-based composition. To address this, we propose an inference-only Multi-Negative Steering strategy that steers a negation-containing relative instruction away from its negated semantics, mitigating the limited negation handling of VLMs and improving robustness on negation-heavy queries. Extensive experiments on standard CIR benchmarks demonstrate that FlowCIR achieves strong and competitive performance compared with recent ZS-CIR methods.