Automatic Synthetic Data and Fine-grained Adaptive Feature Alignment for Composed Person Retrieval

📄 arXiv: 2311.16515v4 📥 PDF

作者: Delong Liu, Haiwen Li, Zhaohui Hou, Zhicheng Zhao, Fei Su, Yuan Dong

分类: cs.CV, cs.AI, cs.IR

发布日期: 2023-11-25 (更新: 2025-05-20)

🔗 代码/项目: GITHUB

💡 一句话要点

提出合成数据与细粒度自适应特征对齐以解决组合人检索问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合人检索 自动数据合成 多模态融合 细粒度特征对齐 生成模型 图像文本检索

📋 核心要点

  1. 现有的人检索方法主要分为图像和文本两种模式，无法充分利用多模态信息，导致应用效果不佳。
  2. 本文提出组合人检索（CPR）任务，结合视觉与文本查询，并引入自动数据合成管道和细粒度自适应特征对齐框架。
  3. 实验结果表明，所提出的SynCPR数据集和FAFA框架在性能上优于现有的最先进方法，验证了其有效性。

📝 摘要（中文）

人检索引起了越来越多的关注。现有方法主要分为图像和文本两种检索模式，但无法充分利用可用信息，难以满足多样化的应用需求。为了解决这些局限性，本文提出了一种新的组合人检索（CPR）任务，结合视觉和文本查询，从大规模人像数据库中识别感兴趣的个体。由于CPR任务缺乏可用的标注数据集，本文首先引入了一种可扩展的自动数据合成管道，通过生成文本四元组和使用微调的生成模型进行身份一致的图像合成来实现。同时，设计了一种多模态过滤方法，确保生成的SynCPR数据集保留115万高质量的全合成三元组。此外，提出了一种新颖的细粒度自适应特征对齐（FAFA）框架，以改善组合人查询的表示。实验结果表明，SynCPR数据集和FAFA框架在与现有最先进方法的比较中表现出优越性。

🔬 方法详解

问题定义：本文旨在解决组合人检索（CPR）任务中的数据不足问题，现有方法无法有效利用图像和文本信息，导致检索性能受限。

核心思路：提出一种自动合成数据的方法，通过生成文本四元组和身份一致的图像合成，来创建高质量的合成数据集，以支持CPR任务。

技术框架：整体架构包括数据合成管道和细粒度自适应特征对齐（FAFA）框架。数据合成管道分为文本生成和图像合成两个阶段，FAFA框架则通过动态对齐和特征推理来增强查询表示。

关键创新：最重要的创新在于提出了自动合成数据的管道和FAFA框架，前者解决了数据不足的问题，后者提高了组合查询的特征表示能力。

关键设计：在数据合成过程中，采用了微调的生成模型以确保图像与文本的一致性；FAFA框架中引入了动态对齐机制和掩蔽特征推理，以增强特征的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的SynCPR数据集在质量上显著优于现有数据集，FAFA框架在组合人检索任务中相较于最先进方法提升了检索准确率，具体性能数据未详述，但提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括安防监控、社交媒体内容检索和智能人机交互等。通过有效结合视觉与文本信息，能够提升人检索的准确性和效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Person retrieval has attracted rising attention. Existing methods are mainly divided into two retrieval modes, namely image-only and text-only. However, they are unable to make full use of the available information and are difficult to meet diverse application requirements. To address the above limitations, we propose a new Composed Person Retrieval (CPR) task, which combines visual and textual queries to identify individuals of interest from large-scale person image databases. Nevertheless, the foremost difficulty of the CPR task is the lack of available annotated datasets. Therefore, we first introduce a scalable automatic data synthesis pipeline, which decomposes complex multimodal data generation into the creation of textual quadruples followed by identity-consistent image synthesis using fine-tuned generative models. Meanwhile, a multimodal filtering method is designed to ensure the resulting SynCPR dataset retains 1.15 million high-quality and fully synthetic triplets. Additionally, to improve the representation of composed person queries, we propose a novel Fine-grained Adaptive Feature Alignment (FAFA) framework through fine-grained dynamic alignment and masked feature reasoning. Moreover, for objective evaluation, we manually annotate the Image-Text Composed Person Retrieval (ITCPR) test set. The extensive experiments demonstrate the effectiveness of the SynCPR dataset and the superiority of the proposed FAFA framework when compared with the state-of-the-art methods. All code and data will be provided at https://github.com/Delong-liu-bupt/Composed_Person_Retrieval.