EVCap: Retrieval-Augmented Image Captioning with External Visual-Name Memory for Open-World Comprehension

📄 arXiv: 2311.15879v2 📥 PDF

作者: Jiaxuan Li, Duc Minh Vo, Akihiro Sugimoto, Hideki Nakayama

分类: cs.CV

发布日期: 2023-11-27 (更新: 2024-04-07)

备注: CVPR 2024

💡 一句话要点

提出EVCap以解决开放世界理解中的对象知识更新问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像描述 开放世界理解 知识更新 多模态学习 检索增强 大型语言模型 计算机视觉

📋 核心要点

  1. 现有基于LLMs的图像描述方法在处理新对象时面临知识更新不足的挑战，限制了其开放世界理解能力。
  2. 本文提出EVCap，通过外部视觉-名称记忆检索对象名称，增强LLMs的描述能力，且无需额外的微调或再训练。
  3. 实验结果显示，EVCap在多个基准测试中表现优越，仅需3.97M参数，超越了其他冻结预训练模型的方法。

📝 摘要（中文）

基于大型语言模型（LLMs）的图像描述能力可以描述训练数据中未明确观察到的对象，但新对象的频繁出现要求持续更新对象知识以实现开放世界理解。为此，本文提出了一种高效的检索增强图像描述方法EVCap，通过外部视觉-名称记忆（External Visual-name memory）检索对象名称来提示LLMs。该方法能够以最低成本更新记忆，并通过轻量且快速训练的模型轻松增强LLMs。实验结果表明，EVCap在仅使用3.97M可训练参数的情况下，性能优于基于冻结预训练LLMs的其他方法，并与需要大量训练的专业SOTA方法具有竞争力。

🔬 方法详解

问题定义：本文旨在解决开放世界理解中对象知识更新的不足，现有方法依赖大量数据或网络参数扩展，难以适应新对象的出现。

核心思路：EVCap通过外部视觉-名称记忆检索对象名称，增强LLMs的描述能力，允许模型在不进行额外微调的情况下适应新对象。

技术框架：整体架构包括外部视觉-名称记忆模块和LLMs，前者负责存储和检索对象信息，后者用于生成图像描述。

关键创新：EVCap的创新在于构建了一个动态更新的对象知识记忆，能够以低成本进行更新，并通过轻量模型快速训练，显著提升了描述能力。

关键设计：模型仅在COCO数据集上训练，使用3.97M可训练参数，设计了高效的检索机制和轻量化的网络结构，以确保快速适应新对象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EVCap在多个基准测试中表现优越，使用仅3.97M的可训练参数，超越了基于冻结预训练LLMs的其他方法，且其性能与需要大量训练的专业SOTA方法相当，展示了其高效性和适应性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在图像理解、自动标注和人机交互等领域。通过持续更新的对象知识，EVCap能够提升计算机视觉系统在开放世界场景中的表现，推动智能助手和自动驾驶等技术的发展。

📄 摘要（原文）

Large language models (LLMs)-based image captioning has the capability of describing objects not explicitly observed in training data; yet novel objects occur frequently, necessitating the requirement of sustaining up-to-date object knowledge for open-world comprehension. Instead of relying on large amounts of data and/or scaling up network parameters, we introduce a highly effective retrieval-augmented image captioning method that prompts LLMs with object names retrieved from External Visual--name memory (EVCap). We build ever-changing object knowledge memory using objects' visuals and names, enabling us to (i) update the memory at a minimal cost and (ii) effortlessly augment LLMs with retrieved object names by utilizing a lightweight and fast-to-train model. Our model, which was trained only on the COCO dataset, can adapt to out-of-domain without requiring additional fine-tuning or re-training. Our experiments conducted on benchmarks and synthetic commonsense-violating data show that EVCap, with only 3.97M trainable parameters, exhibits superior performance compared to other methods based on frozen pre-trained LLMs. Its performance is also competitive to specialist SOTAs that require extensive training.