Unsupervised Cross-Domain Image Retrieval via Prototypical Optimal Transport
作者: Bin Li, Ye Shi, Qian Yu, Jingya Wang
分类: cs.CV
发布日期: 2024-02-28 (更新: 2024-12-28)
💡 一句话要点
提出ProtoOT以解决无监督跨域图像检索问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无监督学习 跨域检索 最优传输 K均值聚类 对比学习 图像检索 特征对齐
📋 核心要点
- 现有的无监督跨域图像检索方法通常将问题分解为领域内表示学习和跨域特征对齐，未能充分利用两者之间的协同效应。
- 本文提出ProtoOT，通过最优传输框架将领域内特征表示学习与跨域对齐整合，利用K均值聚类管理分布不平衡。
- 实验结果表明，ProtoOT在DomainNet上平均提升P@200达18.17%，在Office-Home上P@15提升3.83%，显著优于现有方法。
📝 摘要（中文）
无监督跨域图像检索（UCIR）旨在无需标签数据的情况下，从不同领域中检索共享相同类别的图像。以往的方法通常将UCIR问题分解为两个独立的任务：领域内表示学习和跨域特征对齐。然而，这些分离的策略忽视了这两者之间的潜在协同作用。本文提出了ProtoOT，一种专门为UCIR设计的最优传输（Optimal Transport）框架，将领域内特征表示学习和跨域对齐整合为一个统一的框架。ProtoOT利用K均值聚类方法有效管理UCIR中固有的分布不平衡，通过生成初始原型和近似类别边际分布，显著提升了UCIR场景下的性能。此外，我们在ProtoOT框架中引入对比学习，进一步改善表示学习，增强特征的局部语义一致性和全局可区分性。ProtoOT在基准数据集上超越了现有的最先进方法。
🔬 方法详解
问题定义：本文解决无监督跨域图像检索（UCIR）问题，现有方法将其分为领域内表示学习和跨域对齐，未能充分利用两者的协同作用，导致性能不足。
核心思路：ProtoOT框架通过最优传输将领域内特征表示学习与跨域对齐结合，利用K均值聚类生成初始原型，改善分布不平衡问题，从而提升检索性能。
技术框架：ProtoOT的整体架构包括初始原型生成、类别边际分布近似、最优传输约束修改和对比学习模块，形成一个统一的学习框架。
关键创新：ProtoOT的创新在于将最优传输与K均值聚类结合，显著提升了UCIR的性能，解决了传统方法中分离学习的不足。
关键设计：在ProtoOT中，初始原型通过K均值聚类生成，损失函数设计上引入对比学习，以增强特征的局部一致性和全局可区分性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ProtoOT在DomainNet数据集上平均提升P@200达18.17%，在Office-Home数据集上P@15提升3.83%。这些结果表明ProtoOT在无监督跨域图像检索任务中显著超越了现有的最先进方法。
🎯 应用场景
该研究的潜在应用领域包括图像搜索引擎、跨域图像分类和多媒体检索等。通过无监督学习，ProtoOT能够在缺乏标注数据的情况下有效提升图像检索的准确性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Unsupervised cross-domain image retrieval (UCIR) aims to retrieve images sharing the same category across diverse domains without relying on labeled data. Prior approaches have typically decomposed the UCIR problem into two distinct tasks: intra-domain representation learning and cross-domain feature alignment. However, these segregated strategies overlook the potential synergies between these tasks. This paper introduces ProtoOT, a novel Optimal Transport formulation explicitly tailored for UCIR, which integrates intra-domain feature representation learning and cross-domain alignment into a unified framework. ProtoOT leverages the strengths of the K-means clustering method to effectively manage distribution imbalances inherent in UCIR. By utilizing K-means for generating initial prototypes and approximating class marginal distributions, we modify the constraints in Optimal Transport accordingly, significantly enhancing its performance in UCIR scenarios. Furthermore, we incorporate contrastive learning into the ProtoOT framework to further improve representation learning. This encourages local semantic consistency among features with similar semantics, while also explicitly enforcing separation between features and unmatched prototypes, thereby enhancing global discriminativeness. ProtoOT surpasses existing state-of-the-art methods by a notable margin across benchmark datasets. Notably, on DomainNet, ProtoOT achieves an average P@200 enhancement of 18.17%, and on Office-Home, it demonstrates a P@15 improvement of 3.83%.