The Solution for the CVPR 2023 1st foundation model challenge-Track2

📄 arXiv: 2403.17702v2 📥 PDF

作者: Haonan Xu, Yurui Huang, Sishun Pan, Zhihao Guan, Yi Xu, Yang Yang

分类: cs.CV

发布日期: 2024-03-26 (更新: 2024-04-02)

💡 一句话要点

提出跨模态交通检索解决方案以应对图像域间问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态检索 交通图像 行人检索 车辆检索 图像-文本对齐

📋 核心要点

  1. 现有的交通图像检索方法在跨域问题上表现不佳，难以有效处理行人和车辆的检索任务。
  2. 本文通过将检索任务分为行人和车辆两个子任务，提出了基于IRRA和BLIP的模型，结合属性分类和包含关系匹配策略。
  3. 实验结果显示，提出的方法在B-board测试中获得70.9的得分，显著优于其他基线方法，排名第一。

📝 摘要（中文）

本文提出了一种跨模态交通检索的解决方案。由于交通图像的跨域问题，我们将任务分为行人检索和车辆检索两个子任务。在行人检索中，我们使用IRRA作为基础模型，并设计了属性分类以挖掘属性标签所隐含的知识。更重要的是，我们采用包含关系匹配策略，使得具有包含关系的图像-文本对在特征空间中具有相似的表示。在车辆检索任务中，我们使用BLIP作为基础模型，并引入基于属性的目标检测技术，为车辆图像添加颜色块以进行颜色数据增强。这为模型提供了强有力的先验信息，帮助进行图像-文本对齐。同时，我们将标记属性纳入图像-文本对齐损失中，以学习细粒度对齐，防止相似图像和文本被错误分离。我们的方案在最终的B-board测试中以70.9的得分排名第一。

🔬 方法详解

问题定义：本文旨在解决跨模态交通检索中的图像域间问题，现有方法在处理行人和车辆检索时存在性能不足的挑战。

核心思路：通过将检索任务分为行人和车辆两个子任务，利用IRRA和BLIP模型，结合属性分类和包含关系匹配策略，提升图像-文本对齐的效果。

技术框架：整体架构包括两个主要模块：行人检索模块和车辆检索模块。行人检索使用IRRA模型，车辆检索使用BLIP模型，二者均结合了属性信息和对齐损失。

关键创新：引入了包含关系匹配策略，使得具有包含关系的图像-文本对在特征空间中具有相似表示，这是与现有方法的本质区别。

关键设计：在车辆检索中，采用基于属性的目标检测技术为图像添加颜色块进行数据增强，同时将标记属性纳入对齐损失，以实现细粒度对齐。具体的损失函数设计和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在最终的B-board测试中，提出的方法以70.9的得分排名第一，显著优于其他基线方法，展示了在跨模态交通检索任务中的卓越性能和有效性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆的视觉感知以及城市安全监控等。通过提升交通图像的检索能力，可以有效支持交通管理和安全监控的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this paper, we propose a solution for cross-modal transportation retrieval. Due to the cross-domain problem of traffic images, we divide the problem into two sub-tasks of pedestrian retrieval and vehicle retrieval through a simple strategy. In pedestrian retrieval tasks, we use IRRA as the base model and specifically design an Attribute Classification to mine the knowledge implied by attribute labels. More importantly, We use the strategy of Inclusion Relation Matching to make the image-text pairs with inclusion relation have similar representation in the feature space. For the vehicle retrieval task, we use BLIP as the base model. Since aligning the color attributes of vehicles is challenging, we introduce attribute-based object detection techniques to add color patch blocks to vehicle images for color data augmentation. This serves as strong prior information, helping the model perform the image-text alignment. At the same time, we incorporate labeled attributes into the image-text alignment loss to learn fine-grained alignment and prevent similar images and texts from being incorrectly separated. Our approach ranked first in the final B-board test with a score of 70.9.