Attribute-Prompted Kernel Hashing for Unsupervised Data-Efficient Cross-Modal Retrieval

📄 arXiv: 2607.00379v1 📥 PDF

作者: Runhao Li, Xiaoxu Ma, Zhenyu Weng, Yue Zhang, Guibo Luo, Huiping Zhuang, Zhiping Lin, Yap-Peng Tan

分类: cs.IR, cs.CV

发布日期: 2026-07-01

💡 一句话要点

提出属性引导的核哈希方法以解决无监督跨模态检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态检索 无监督学习 哈希方法 属性引导 对比学习 模态对齐 数据高效

📋 核心要点

  1. 现有无监督跨模态哈希方法依赖于大量图像-文本对，收集成本高且容易过拟合，限制了泛化能力。
  2. 本文提出属性引导的核哈希（APKH），通过优化属性核映射和对比对齐来实现模态对齐，提升检索效率。
  3. 实验结果显示，APKH在跨模态检索任务中显著优于现有方法，尤其在未见类别的检索性能上有明显提升。

📝 摘要（中文）

无监督跨模态哈希方法能够高效检索不同模态间语义相关的实例，而无需人工语义标注。然而，现有方法依赖于大规模的图像-文本对，收集此类数据成本高昂，尤其在隐私和专业限制下，良好对齐的样本稀缺。更重要的是，现有方法容易过拟合已见训练数据，限制了其在未见类别上的泛化性能。为了解决这些问题，本文提出了属性引导的核哈希（APKH），一种新颖的数据高效方法，通过视觉-语言基础模型的广义属性先验构建紧凑的模态对齐哈希空间。APKH引入了两个核心模块：上下文优化的属性核映射（CAKM）和核平滑对比对齐（KSCA）。CAKM通过超球面径向基函数核映射实现跨模态对齐，优化动态属性核以捕捉模态不变语义。KSCA则通过将有限配对数据建模为连续核分布，扩展了传统的点对点对比学习，从而减轻了稀疏配对相关性的过拟合。大量实验表明，APKH在数据受限场景下的跨模态检索任务中优于现有最先进的哈希方法。

🔬 方法详解

问题定义：本文旨在解决无监督跨模态检索中对大规模图像-文本对的依赖问题，现有方法容易过拟合已见数据，限制了在未见类别上的表现。

核心思路：提出属性引导的核哈希（APKH），通过引入上下文优化的属性核映射和核平滑对比对齐，构建模态对齐的哈希空间，以捕捉模态不变的语义信息。

技术框架：APKH的整体架构包括两个核心模块：CAKM和KSCA。CAKM负责通过超球面径向基函数核映射实现跨模态对齐，而KSCA则通过建模有限配对数据为连续核分布来扩展对比学习。

关键创新：APKH的主要创新在于通过动态属性核优化和核平滑对比对齐来减轻稀疏配对数据的过拟合问题，这与传统方法的点对点对比学习有本质区别。

关键设计：在设计中，CAKM使用了超球面径向基函数核，KSCA则采用了连续核分布模型，损失函数设计上强调了模态间的平滑对齐，确保了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，APKH在跨模态检索任务中表现优异，尤其是在未见类别的检索上，性能提升幅度超过了现有最先进的哈希方法，具体提升幅度达到XX%（具体数据需参考原文）。

🎯 应用场景

该研究的潜在应用领域包括多模态信息检索、智能搜索引擎以及推荐系统等。通过提升跨模态检索的效率和准确性，APKH可以在实际应用中显著改善用户体验，推动相关技术的发展与应用。未来，随着数据收集和处理技术的进步，该方法有望在更多领域得到广泛应用。

📄 摘要（原文）

Unsupervised cross-modal hashing enables efficient retrieval of semantically related instances across different modalities without requiring manual semantic annotation. However, existing unsupervised methods rely heavily on large-scale image-text pairs. Collecting such data can be costly, particularly in scenarios where well-aligned pairs are scarce due to privacy and specialized constraints. More critically, existing methods tend to overfit to seen training data, restricting their generalization performance on unseen categories that the constrained training data cannot cover. To address these limitations, we propose Attribute-Prompted Kernel Hashing (APKH), a novel data-efficient approach that constructs a compact, modality-aligned Hamming space driven by the generalized attribute priors of vision-language foundation models. Specifically, APKH introduces two core modules: Context-optimized Attribute Kernel Mapping (CAKM) and Kernel-Smoothed Contrastive Alignment (KSCA). CAKM formulates cross-modal alignment through hyperspherical Radial Basis Function kernel mapping, optimizing dynamic attribute kernels via prompt learning to capture modality-invariant semantics. Furthermore, KSCA extends conventional point-to-point contrastive learning by modeling limited paired data as continuous kernel distributions. This explicit smoothing of the modality gap alleviates overfitting to sparse pairwise correlations. Extensive experiments demonstrate that APKH outperforms state-of-the-art hashing methods in the challenging cross-modal retrieval tasks from seen to unseen categories under data-constrained scenarios.