WikiCLIP: An Efficient Contrastive Baseline for Open-domain Visual Entity Recognition

📄 arXiv: 2603.09921 📥 PDF

作者: Shan Ning, Longtian Qiu, Jiaxuan Sun, Xuming He

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出WikiCLIP以解决开放域视觉实体识别的高计算成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放域视觉识别 对比学习 视觉引导知识适配器 硬负样本合成 大型语言模型

📋 核心要点

  1. 现有的生成方法在开放域视觉实体识别中表现优异，但计算成本高，限制了其实际应用。
  2. 提出WikiCLIP框架，通过对比学习和视觉引导知识适配器，提供高效的开放域VER解决方案。
  3. WikiCLIP在OVEN基准测试中表现突出，未见集上提升16%，推理延迟减少近100倍。

📝 摘要（中文）

开放域视觉实体识别（VER）旨在将图像与维基百科等百科知识库中的实体关联起来。尽管近期针对VER的生成方法表现出色，但其高计算成本限制了其可扩展性和实际应用。本文重新审视了VER的对比学习范式，提出了WikiCLIP，一个简单而有效的框架，为开放域VER建立了强大且高效的基线。WikiCLIP利用大型语言模型嵌入作为知识丰富的实体表示，并通过视觉引导知识适配器（VGKA）在补丁级别上对齐文本语义与视觉线索。此外，论文引入了硬负样本合成机制，在训练过程中生成视觉相似但语义不同的负样本。实验结果表明，WikiCLIP在流行的开放域VER基准上显著优于强基线，特别是在具有挑战性的OVEN未见集上提高了16%的性能，同时与领先的生成模型AutoVER相比，推理延迟减少了近100倍。

🔬 方法详解

问题定义：本文解决开放域视觉实体识别（VER）中的高计算成本问题。现有生成方法虽然性能优越，但在实际应用中面临可扩展性挑战。

核心思路：论文提出WikiCLIP框架，利用对比学习和大型语言模型嵌入，结合视觉引导知识适配器（VGKA），有效地将文本与视觉信息对齐，从而提高识别效率。

技术框架：WikiCLIP的整体架构包括三个主要模块：1) 大型语言模型嵌入用于生成知识丰富的实体表示；2) 视觉引导知识适配器（VGKA）用于在补丁级别对齐文本和视觉信息；3) 硬负样本合成机制在训练过程中生成视觉相似但语义不同的负样本，以增强模型的区分能力。

关键创新：WikiCLIP的核心创新在于结合了对比学习和视觉引导知识适配器，显著提高了开放域VER的效率和准确性。这一方法与传统生成模型的本质区别在于其低计算成本和高效的推理能力。

关键设计：在模型设计中，WikiCLIP采用了特定的损失函数以优化对比学习过程，并在网络结构中引入了VGKA模块，以确保文本和视觉信息的有效对齐。

📊 实验亮点

WikiCLIP在OVEN基准测试中表现出色，未见集上提升了16%的性能，同时推理延迟减少近100倍，相较于领先的生成模型AutoVER，显示出显著的效率优势。

🎯 应用场景

WikiCLIP在开放域视觉实体识别中的应用潜力巨大，能够广泛应用于图像搜索、自动标注、内容推荐等领域。其高效的推理能力使得在资源受限的环境中也能实现实时识别，具有重要的实际价值和未来影响。

📄 摘要（原文）

Open-domain visual entity recognition (VER) seeks to associate images with entities in encyclopedic knowledge bases such as Wikipedia. Recent generative methods tailored for VER demonstrate strong performance but incur high computational costs, limiting their scalability and practical deployment. In this work, we revisit the contrastive paradigm for VER and introduce WikiCLIP, a simple yet effective framework that establishes a strong and efficient baseline for open-domain VER. WikiCLIP leverages large language model embeddings as knowledge-rich entity representations and enhances them with a Vision-Guided Knowledge Adaptor (VGKA) that aligns textual semantics with visual cues at the patch level. To further encourage fine-grained discrimination, a Hard Negative Synthesis Mechanism generates visually similar but semantically distinct negatives during training. Experimental results on popular open-domain VER benchmarks, such as OVEN, demonstrate that WikiCLIP significantly outperforms strong baselines. Specifically, WikiCLIP achieves a 16\% improvement on the challenging OVEN unseen set, while reducing inference latency by nearly 100 times compared with the leading generative model, AutoVER. The project page is available atthis https URL