MM-PhyQA: Multimodal Physics Question-Answering With Multi-Image CoT Prompting

📄 arXiv: 2404.08704v1 📥 PDF

作者: Avinash Anand, Janak Kapuriya, Apoorv Singh, Jay Saraf, Naman Lal, Astha Verma, Rushali Gupta, Rajiv Shah

分类: cs.CL, cs.AI

发布日期: 2024-04-11

💡 一句话要点

提出MM-PhyQA以解决多步骤物理推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 物理问题 大型语言模型 数据集构建 链式思维

📋 核心要点

  1. 现有大型语言模型在多步骤物理推理任务中表现不佳，难以有效处理多模态输入。
  2. 论文提出MM-PhyQA数据集，并采用MI-CoT提示技术来提升模型在多模态物理问题上的推理能力。
  3. 实验结果显示，使用MI-CoT提示的LLaVA-1.5模型在测试集上取得了71.65%的准确率，显著优于基线模型。

📝 摘要（中文）

尽管大型语言模型（LLMs）在多种任务中表现出人类水平的性能，但在处理多步骤物理推理任务时仍面临挑战。为识别现有模型的不足并推动该领域的研究，我们构建了一个新数据集MM-PhyQA，包含高质量的高中水平多模态物理问题。通过评估当前公开可用的LLMs在包含和不包含多模态元素的情况下的表现，揭示其能力。我们采用零-shot预测方法使用GPT-4生成多模态输入（图像和文本）的答案，并利用在我们数据集上微调的LLaVA（LLaVA和LLaVA-1.5）。此外，我们展示了新颖的多图链式思维（MI-CoT）提示技术的表现，该技术在训练LLaVA-1.5 13b时取得了最佳结果，在大多数指标上得分优异，并在测试集上达到了71.65%的最高准确率。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在多步骤物理推理任务中的不足，特别是在处理多模态输入（如图像和文本）时的表现不佳。现有方法未能有效整合多模态信息，导致推理能力受限。

核心思路：论文提出了MM-PhyQA数据集，并引入了多图链式思维（MI-CoT）提示技术，以增强模型在多模态物理问题上的推理能力。通过这种方式，模型能够更好地理解和处理复杂的物理问题。

技术框架：整体架构包括数据集构建、模型训练和性能评估三个主要阶段。首先，构建MM-PhyQA数据集；其次，使用GPT-4进行零-shot预测，并对LLaVA进行微调；最后，评估模型在多模态和单模态输入下的表现。

关键创新：最重要的技术创新是多图链式思维（MI-CoT）提示技术，该技术通过引导模型逐步推理，显著提升了多模态物理问题的解答准确性，与传统方法相比具有本质区别。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以优化多模态输入的处理能力。LLaVA-1.5模型在微调过程中，特别关注了多图信息的整合和推理过程的引导。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用MI-CoT提示的LLaVA-1.5模型在MM-PhyQA数据集上达到了71.65%的准确率，显著高于其他基线模型，展示了该方法在多模态物理推理任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和智能问答系统等。通过改进多模态物理推理能力，能够为学生提供更有效的学习工具，帮助他们理解复杂的物理概念。同时，该技术也可应用于机器人和自动化系统中，提高其在物理环境中的决策能力。

📄 摘要（原文）

While Large Language Models (LLMs) can achieve human-level performance in various tasks, they continue to face challenges when it comes to effectively tackling multi-step physics reasoning tasks. To identify the shortcomings of existing models and facilitate further research in this area, we curated a novel dataset, MM-PhyQA, which comprises well-constructed, high schoollevel multimodal physics problems. By evaluating the performance of contemporary LLMs that are publicly available, both with and without the incorporation of multimodal elements in these problems, we aim to shed light on their capabilities. For generating answers for questions consisting of multimodal input (in this case, images and text) we employed Zero-shot prediction using GPT-4 and utilized LLaVA (LLaVA and LLaVA-1.5), the latter of which were fine-tuned on our dataset. For evaluating the performance of LLMs consisting solely of textual input, we tested the performance of the base and fine-tuned versions of the Mistral-7B and LLaMA2-7b models. We also showcased the performance of the novel Multi-Image Chain-of-Thought (MI-CoT) Prompting technique, which when used to train LLaVA-1.5 13b yielded the best results when tested on our dataset, with superior scores in most metrics and the highest accuracy of 71.65% on the test set.