Training-Free Pseudo-Fusion for Composed Image Retrieval with Diffusion Models and Multimodal Large Language Models

📄 arXiv: 2608.23102v1 📥 PDF

作者: Fan Xu, Luis A. Leiva

分类: cs.CV, cs.IR

发布日期: 2026-08-24

期刊: Transactions on Machine Learning Research, 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出PeFuse以解决无训练的复合图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复合图像检索 无训练框架 多模态融合 扩散模型 大语言模型 生成转换 文本到图像检索

📋 核心要点

  1. 现有的复合图像检索方法依赖于多模态融合，需进行专门的训练，限制了其灵活性和适用性。
  2. 本文提出的PeFuse框架通过无训练的方式，利用预训练模型实现模态间的生成转换，简化了复合查询的处理。
  3. 实验结果显示，PeFuse在标准基准上表现优异，特别是在文本到图像检索任务中，性能超过了现有的替代方案。

📝 摘要（中文）

复合图像检索（CIR）是一种新兴的基于内容的图像检索范式，允许用户通过结合参考图像和辅助模态（通常为文本）来构造复合查询。传统的CIR方法依赖于多模态融合，将视觉和文本特征结合成联合查询嵌入，这需要训练模块来对齐复合查询与目标图像。本文提出了PeFuse（伪融合），一个无训练框架，利用预训练的扩散模型和多模态大语言模型，通过生成转换来连接模态。我们引入了单向和双向转换两种新策略，将CIR转化为四个单模态检索问题。实验表明，将CIR转换为文本到图像检索任务的效果优于其他转换策略，性能与最先进的方法相当或更优，同时保持了转换管道的高灵活性。

🔬 方法详解

问题定义：本文旨在解决复合图像检索（CIR）中对训练模块的依赖问题，现有方法需要专门的训练来对齐复合查询与目标图像，限制了其灵活性和适用性。

核心思路：提出PeFuse框架，通过无训练的方式，利用预训练的扩散模型和多模态大语言模型实现模态间的生成转换，将CIR转化为单模态检索任务，从而简化处理流程。

技术框架：该框架包括两个主要模块：单向转换和双向转换，分别将CIR转化为文本到图像和图像到文本的检索任务，形成四个单模态检索问题。

关键创新：最重要的创新在于提出了伪融合的概念，通过生成转换实现模态间的桥接，避免了传统方法中对训练的依赖，显著提高了灵活性。

关键设计：在设计中，采用了预训练的扩散模型和多模态大语言模型，确保了转换过程的高效性和准确性，具体参数设置和损失函数未在摘要中详细说明，需参考原文获取更多细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PeFuse在将CIR转换为文本到图像检索任务时，性能超过了现有的替代方案，达到了竞争性或更优的效果，展示了伪融合范式在零-shot CIR中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像搜索引擎、电子商务平台和社交媒体等，能够帮助用户更精准地找到符合需求的图像。未来，该方法可能推动无训练图像检索技术的发展，提升用户体验和检索效率。

📄 摘要（原文）

Composed Image Retrieval (CIR) is an emerging paradigm in content-based image retrieval that enables users to formulate compositional queries by combining a reference image with an auxiliary modality, usually text-based. This approach supports fine-grained search where the target image shares structural elements with the user-provided image while incorporating the modifications specified by the auxiliary text. Conventional CIR methods rely on multimodal fusion to combine visual and textual features into a joint query embedding, which requires training modules that align composed queries with the targets. In this work, we propose PeFuse (for pseudo-fusion), a training-free framework that leverages pretrained Diffusion Models and Multimodal Large Language Models to bridge modalities via generative conversion. We introduce two novel strategies: uni-directional and bi-directional conversion, which convert CIR into four single-modality retrieval problems. These methods reformulate CIR as either intra-modal or cross-modal single-query retrieval tasks, bypassing the need for dedicated task-specific training. Extensive experiments on standard benchmarks demonstrate that converting CIR into text-to-image retrieval tasks is more effective than alternative conversion strategies, achieving competitive or superior performance compared with state-of-the-art methods, while maintaining high flexibility thanks to replaceable components of the conversion pipeline. These results highlight the effectiveness of the pseudo-fusion paradigm for zero-shot CIR. Our code is publicly available at: https://github.com/StevenXuf/PeFuse4CIR.