Grounding Language Models for Visual Entity Recognition

📄 arXiv: 2402.18695v2 📥 PDF

作者: Zilin Xiao, Ming Gong, Paola Cascante-Bonilla, Xingyao Zhang, Jie Wu, Vicente Ordonez

分类: cs.CV, cs.CL

发布日期: 2024-02-28 (更新: 2024-07-26)

备注: ECCV 2024

💡 一句话要点

提出AutoVER以解决视觉实体识别中的低性能问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉实体识别 自回归模型 多模态学习 对比训练 检索增强生成

📋 核心要点

  1. 现有方法在处理域外实体时性能较低，难以进行有效的视觉情境推理。
  2. 论文提出的AutoVER模型通过检索增强的约束生成，结合对比训练，提升了视觉实体识别的准确性。
  3. 在Oven-Wiki基准测试中，AutoVER在不同数据集划分上显著提升了性能，尤其是在实体已见划分上准确率提高了28.8%。

📝 摘要（中文）

我们介绍了AutoVER，一种用于视觉实体识别的自回归模型。该模型通过采用检索增强的约束生成，扩展了自回归多模态大语言模型。它在处理域外实体时表现出色，能够有效进行视觉情境推理。该方法通过对困难负样本对进行对比训练，同时结合序列到序列的目标，学习在广泛标签空间中区分相似实体。在推理阶段，检索到的候选答案列表显式指导语言生成，消除无效的解码路径。该方法在新提出的Oven-Wiki基准测试中，在不同数据集划分上取得了显著的改进。实体已见划分的准确率从32.7%提升至61.5%。在未见和查询划分上也表现出显著的双位数优势。

🔬 方法详解

问题定义：本论文旨在解决视觉实体识别中对域外实体的低性能问题，现有方法在处理相似实体时存在困难，导致识别准确率低下。

核心思路：AutoVER模型通过检索增强的约束生成，结合对比训练的方式，能够在广泛的标签空间中有效区分相似实体，从而提升识别性能。

技术框架：该模型的整体架构包括自回归多模态大语言模型，检索模块和对比训练模块。在推理阶段，利用检索到的候选答案指导生成过程，确保生成的答案有效且准确。

关键创新：AutoVER的主要创新在于不依赖外部检索器，通过内置的检索增强机制和对比训练，显著提升了模型在视觉实体识别中的表现，尤其是在处理未见实体时。

关键设计：模型采用了序列到序列的训练目标，结合对比损失函数，优化了实体识别的准确性。此外，模型在训练过程中使用了困难负样本对，以增强其区分能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Oven-Wiki基准测试中，AutoVER模型在实体已见划分的准确率从32.7%提升至61.5%，显示出显著的性能提升。此外，在未见和查询划分上也表现出双位数的优势，证明了其在视觉实体识别中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动标注系统和增强现实等场景。在这些应用中，准确的视觉实体识别能够显著提升用户体验和系统的智能化水平。未来，该技术可能会推动更复杂的多模态交互和理解能力的发展。

📄 摘要（原文）

We introduce AutoVER, an Autoregressive model for Visual Entity Recognition. Our model extends an autoregressive Multi-modal Large Language Model by employing retrieval augmented constrained generation. It mitigates low performance on out-of-domain entities while excelling in queries that require visually-situated reasoning. Our method learns to distinguish similar entities within a vast label space by contrastively training on hard negative pairs in parallel with a sequence-to-sequence objective without an external retriever. During inference, a list of retrieved candidate answers explicitly guides language generation by removing invalid decoding paths. The proposed method achieves significant improvements across different dataset splits in the recently proposed Oven-Wiki benchmark. Accuracy on the Entity seen split rises from 32.7% to 61.5%. It also demonstrates superior performance on the unseen and query splits by a substantial double-digit margin.