GeReA: Question-Aware Prompt Captions for Knowledge-based Visual Question Answering

📄 arXiv: 2402.02503v1 📥 PDF

作者: Ziyu Ma, Shutao Li, Bin Sun, Jianfei Cai, Zuxiang Long, Fuyan Ma

分类: cs.CV, cs.CL

发布日期: 2024-02-04

备注: 17 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出GeReA以解决知识驱动视觉问答中的信息误解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 多模态学习 知识驱动 生成模型 推理框架 大型语言模型 图像理解

📋 核心要点

  1. 现有方法在知识驱动视觉问答中存在信息误解和视觉细节忽视的问题，影响答案的准确性。
  2. GeReA通过生成与问题相关的视觉和语言信息，利用多模态大型语言模型（MLLM）生成知识相关的描述，提升了VQA的性能。
  3. 在OK-VQA和A-OKVQA数据集上，GeReA超越了所有现有的最先进方法，测试准确率分别达到了66.5%和63.3%。

📝 摘要（中文）

知识驱动的视觉问答（VQA）需要超越图像的世界知识以获得准确答案。近期，研究者们尝试利用大型语言模型（LLM）作为隐式知识引擎，通过将图像转换为文本信息来获取和推理必要的知识。然而，这种转换可能引入无关信息，导致LLM误解图像并忽视重要的视觉细节。本文提出GeReA，一个生成-推理框架，利用多模态大型语言模型（MLLM）激活其作为隐式知识引擎的能力，生成与问题相关的描述和推理，显著提升了在OK-VQA和A-OKVQA数据集上的表现，分别达到了66.5%和63.3%的测试准确率。

🔬 方法详解

问题定义：本文旨在解决知识驱动视觉问答中，现有方法因信息转换引入无关信息而导致的误解问题。LLM在处理视觉信息时，常常忽视重要的视觉细节，影响答案的准确性。

核心思路：GeReA提出了一种生成-推理框架，通过将问题相关的视觉区域和手动提示编码到多模态大型语言模型（MLLM）中，生成与知识相关的描述，从而提升VQA的准确性。

技术框架：该框架主要包括三个模块：首先，提取问题相关的图像区域和手动提示；其次，利用MLLM生成问题相关的描述；最后，将这些描述与图像-问题对及相似样本输入多模态推理模型，学习联合知识-图像-问题表示以进行答案预测。

关键创新：GeReA的创新在于有效激活MLLM作为隐式知识引擎的能力，生成问题感知的提示描述，显著提升了VQA的性能，与传统的LLM方法相比，能够更好地理解视觉信息。

关键设计：在模型设计中，关键参数包括问题相关的图像区域选择和手动提示的构建，损失函数设计为联合优化知识-图像-问题表示，网络结构采用了先进的多模态推理模型以增强推理能力。

📊 实验亮点

GeReA在OK-VQA和A-OKVQA数据集上的实验结果显示，测试准确率分别达到了66.5%和63.3%，超越了所有现有的最先进方法，展示了其在知识驱动视觉问答中的显著性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育辅助工具和视觉内容检索等。通过提升视觉问答的准确性，GeReA可以在多种实际场景中提供更为精准的信息服务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge-based visual question answering (VQA) requires world knowledge beyond the image for accurate answer. Recently, instead of extra knowledge bases, a large language model (LLM) like GPT-3 is activated as an implicit knowledge engine to jointly acquire and reason the necessary knowledge for answering by converting images into textual information (e.g., captions and answer candidates). However, such conversion may introduce irrelevant information, which causes the LLM to misinterpret images and ignore visual details crucial for accurate knowledge. We argue that multimodal large language model (MLLM) is a better implicit knowledge engine than the LLM for its superior capability of visual understanding. Despite this, how to activate the capacity of MLLM as the implicit knowledge engine has not been explored yet. Therefore, we propose GeReA, a generate-reason framework that prompts a MLLM like InstructBLIP with question relevant vision and language information to generate knowledge-relevant descriptions and reasons those descriptions for knowledge-based VQA. Specifically, the question-relevant image regions and question-specific manual prompts are encoded in the MLLM to generate the knowledge relevant descriptions, referred to as question-aware prompt captions. After that, the question-aware prompt captions, image-question pair, and similar samples are sent into the multi-modal reasoning model to learn a joint knowledge-image-question representation for answer prediction. GeReA unlocks the use of MLLM as the implicit knowledge engine, surpassing all previous state-of-the-art methods on OK-VQA and A-OKVQA datasets, with test accuracies of 66.5% and 63.3% respectively. Our code will be released at https://github.com/Upper9527/GeReA.