Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts

📄 arXiv: 2311.09050v1 📥 PDF

作者: Yunshi Lan, Xiang Li, Xin Liu, Yang Li, Wei Qin, Weining Qian

分类: cs.CV, cs.AI

发布日期: 2023-11-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出推理问题提示以改善零-shot视觉问答性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 视觉问答 大型语言模型 多模态学习 推理问题提示

📋 核心要点

  1. 现有的零-shot视觉问答方法未能充分利用问题提示的潜力，导致在处理省略和歧义问题时的性能不足。
  2. 本文提出推理问题提示，通过生成自包含的问题来引导LLMs进行更有效的推理，从而提升零-shot视觉问答的效果。
  3. 实验结果显示，推理问题提示显著提高了LLMs的性能，在三个数据集上超越了当前的最先进方法，验证了其有效性。

📝 摘要（中文）

零-shot视觉问答（VQA）是一项重要的视觉-语言任务，旨在评估系统在缺乏训练数据时的视觉和文本理解能力。近期研究通过将图像转换为标题，利用大型语言模型（LLMs）在未见问题上的强大零-shot泛化能力。然而，现有方法忽视了问题提示的作用，原始问题常常存在省略和歧义，需要中间推理。为此，本文提出了推理问题提示，旨在激活LLMs在零-shot场景中的潜力。具体而言，针对每个问题，首先通过无监督的问题编辑模块生成自包含的问题提示，确保句子流畅性、语义完整性和句法不变性。然后，将候选答案及其置信度分数输入LLMs，生成最终答案。实验结果表明，推理问题提示显著提升了LLMs在零-shot设置下的表现，并在四个数据集中的三个上超越了现有最先进的零-shot方法。

🔬 方法详解

问题定义：本文旨在解决零-shot视觉问答中，现有方法未能充分利用问题提示的问题。原始问题常常存在省略和歧义，导致推理困难。

核心思路：提出推理问题提示，通过无监督的问题编辑模块生成自包含的问题提示，以明确原始问题的意图，从而引导LLMs进行更有效的回答。

技术框架：整体架构包括两个主要模块：首先生成推理问题提示，然后将候选答案及其置信度分数输入LLMs以生成最终答案。

关键创新：最重要的创新在于引入推理问题提示，强调问题提示在零-shot视觉问答中的重要性，与现有方法相比，能够更好地处理省略和歧义问题。

关键设计：在问题编辑模块中，关注句子流畅性、语义完整性和句法不变性，以确保生成的问题提示能够有效引导LLMs进行推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，推理问题提示显著提升了LLMs在零-shot设置下的表现，在三个数据集上超越了现有最先进的零-shot方法，提升幅度达到XX%（具体数据需根据实验结果填入）。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像理解和人机交互等。通过提升零-shot视觉问答的性能，能够在缺乏标注数据的情况下，增强系统的实用性和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Zero-shot Visual Question Answering (VQA) is a prominent vision-language task that examines both the visual and textual understanding capability of systems in the absence of training data. Recently, by converting the images into captions, information across multi-modalities is bridged and Large Language Models (LLMs) can apply their strong zero-shot generalization capability to unseen questions. To design ideal prompts for solving VQA via LLMs, several studies have explored different strategies to select or generate question-answer pairs as the exemplar prompts, which guide LLMs to answer the current questions effectively. However, they totally ignore the role of question prompts. The original questions in VQA tasks usually encounter ellipses and ambiguity which require intermediate reasoning. To this end, we present Reasoning Question Prompts for VQA tasks, which can further activate the potential of LLMs in zero-shot scenarios. Specifically, for each question, we first generate self-contained questions as reasoning question prompts via an unsupervised question edition module considering sentence fluency, semantic integrity and syntactic invariance. Each reasoning question prompt clearly indicates the intent of the original question. This results in a set of candidate answers. Then, the candidate answers associated with their confidence scores acting as answer heuristics are fed into LLMs and produce the final answer. We evaluate reasoning question prompts on three VQA challenges, experimental results demonstrate that they can significantly improve the results of LLMs on zero-shot setting and outperform existing state-of-the-art zero-shot methods on three out of four data sets. Our source code is publicly released at \url{https://github.com/ECNU-DASE-NLP/RQP}.