Generalizing Visual Question Answering from Synthetic to Human-Written Questions via a Chain of QA with a Large Language Model

📄 arXiv: 2401.06400v3 📥 PDF

作者: Taehee Kim, Yeongjae Cho, Heejun Shin, Yohan Jo, Dongmyung Shin

分类: cs.CL, cs.CV

发布日期: 2024-01-12 (更新: 2024-08-22)

💡 一句话要点

提出CoQAH以解决人类书写问题的视觉问答挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 人类书写问题 大型语言模型 推理能力 合成数据 医疗影像 多轮问答

📋 核心要点

  1. 现有的VQA模型在处理复杂的人类书写问题时表现不佳，主要由于训练数据的局限性。
  2. 本文提出的CoQAH方法通过大型语言模型与VQA模型的交互，增强了对人类书写问题的推理能力。
  3. 实验结果表明，CoQAH在3D渲染和胸部X光图像数据集上均取得了最先进的准确率，超越了现有的多种模型。

📝 摘要（中文）

视觉问答（VQA）是一项任务，给定一张图像后，需回答关于该图像的一系列问题。构建高效的VQA算法需要大量的问答数据，而获取这些数据成本高昂。基于模板生成合成问答对是一种实用的数据获取方式。然而，基于这些数据训练的VQA模型在复杂的人类书写问题上表现不佳。为了解决这一问题，本文提出了一种新方法，称为人类书写问题的问答链（CoQAH）。CoQAH利用大型语言模型与基于合成数据训练的VQA模型之间的问答交互序列，推理并得出人类书写问题的逻辑答案。我们在两种类型的人类书写VQA数据集上测试了CoQAH的有效性，结果显示在3D渲染和胸部X光图像上均达到了最先进的准确率。

🔬 方法详解

问题定义：本文旨在解决现有VQA模型在处理复杂人类书写问题时的性能不足，尤其是由于合成数据训练导致的推理能力缺乏。

核心思路：CoQAH通过引入大型语言模型与VQA模型之间的问答交互，形成一个推理链，旨在提升模型对人类书写问题的理解和回答能力。

技术框架：该方法包括两个主要模块：首先是大型语言模型生成问题的推理过程，其次是VQA模型基于合成数据进行的回答生成。通过交互式问答，模型能够逐步推理出更为准确的答案。

关键创新：CoQAH的核心创新在于其将大型语言模型与VQA模型的交互结合，形成了一个动态的问答链，这一方法显著提升了对复杂问题的处理能力，与传统的静态模型相比具有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以优化问答的准确性，并在网络结构上进行了调整，以支持多轮问答的交互过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoQAH在3D渲染和胸部X光图像数据集上均达到了最先进的准确率，超越了多种基线模型，包括一般的视觉-语言模型和医学基础模型，且无需进行微调，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动化客服系统以及教育领域的智能问答系统。通过提升VQA模型对复杂问题的理解能力，CoQAH能够在实际应用中提供更为准确和可靠的答案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual question answering (VQA) is a task where an image is given, and a series of questions are asked about the image. To build an efficient VQA algorithm, a large amount of QA data is required which is very expensive. Generating synthetic QA pairs based on templates is a practical way to obtain data. However, VQA models trained on those data do not perform well on complex, human-written questions. To address this issue, we propose a new method called {\it chain of QA for human-written questions} (CoQAH). CoQAH utilizes a sequence of QA interactions between a large language model and a VQA model trained on synthetic data to reason and derive logical answers for human-written questions. We tested the effectiveness of CoQAH on two types of human-written VQA datasets for 3D-rendered and chest X-ray images and found that it achieved state-of-the-art accuracy in both types of data. Notably, CoQAH outperformed general vision-language models, VQA models, and medical foundation models with no finetuning.