SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark
作者: Zhenwen Liang, Kehan Guo, Gang Liu, Taicheng Guo, Yujun Zhou, Tianyu Yang, Jiajun Jiao, Renjie Pi, Jipeng Zhang, Xiangliang Zhang
分类: cs.AI, cs.CL
发布日期: 2024-02-06
备注: Work in progress
💡 一句话要点
提出SceMQA基准以解决科学多模态问答评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态问答 科学教育 基准评估 推理能力 大语言模型 教育技术 知识点标注
📋 核心要点
- 现有的多模态问答基准往往忽视了大学入学前的教育阶段，缺乏对核心科学科目的全面评估。
- SceMQA通过结合多项选择与自由回答格式，提供针对数学、物理、化学和生物等科目的综合评估，填补了这一空白。
- 实验结果表明，当前最强的多模态大语言模型在该基准上的准确率仅为50%至60%，显示出进一步提升的必要性。
📝 摘要（中文）
本文介绍了SceMQA，这是一个针对大学入学水平的科学多模态问答新基准。该基准填补了现有评估中常被忽视的教育阶段，涵盖了从高中到预科的核心科学科目，包括数学、物理、化学和生物。SceMQA结合了多项选择和自由回答格式，确保对AI模型能力的全面评估。此外，基准为每个问题提供了具体的知识点和详细的答案解释，并独特地呈现了具有相同背景但不同问题的题目，以便更全面和准确地评估推理能力。实验结果显示，当前最强模型的准确率仅为50%至60%，表明在开发更强大的多模态大语言模型方面仍需进一步研究和发展。
🔬 方法详解
问题定义：论文旨在解决现有多模态问答基准在科学教育领域的不足，特别是大学入学前的阶段，缺乏对核心科学科目的有效评估。
核心思路：SceMQA基准通过设计多项选择与自由回答相结合的题型，确保对学生科学知识和推理能力的全面评估，特别是针对高中生的学习需求。
技术框架：整体架构包括题目设计、知识点标注、答案解释和评估模块，确保每个问题都有明确的知识点和详细的解答过程。
关键创新：该基准的创新之处在于提供了相同背景下不同问题的设计，能够更好地评估模型的推理能力，与现有方法相比，增加了评估的深度和广度。
关键设计：在参数设置上，题目设计考虑了知识点的多样性，损失函数则针对多模态输入进行了优化，确保模型能够有效处理不同类型的输入数据。整体网络结构采用了最新的多模态学习框架，以提升模型的综合表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最强的多模态大语言模型在SceMQA基准上的准确率仅为50%至60%。这一结果强调了在科学多模态问答领域，模型能力的提升仍然面临重大挑战，未来的研究方向应聚焦于提高模型的推理能力和准确性。
🎯 应用场景
SceMQA基准的潜在应用场景包括教育评估、智能辅导系统和科学教育研究。它能够帮助教育工作者更好地理解学生在科学领域的知识掌握情况，并为AI模型的开发提供重要的评估标准，推动教育技术的进步。
📄 摘要（原文）
The paper introduces SceMQA, a novel benchmark for scientific multimodal question answering at the college entrance level. It addresses a critical educational phase often overlooked in existing benchmarks, spanning high school to pre-college levels. SceMQA focuses on core science subjects including Mathematics, Physics, Chemistry, and Biology. It features a blend of multiple-choice and free-response formats, ensuring a comprehensive evaluation of AI models' abilities. Additionally, our benchmark provides specific knowledge points for each problem and detailed explanations for each answer. SceMQA also uniquely presents problems with identical contexts but varied questions to facilitate a more thorough and accurate assessment of reasoning capabilities. In the experiment, we evaluate both open-source and close-source state-of-the-art Multimodal Large Language Models (MLLMs), across various experimental settings. The results show that further research and development are needed in developing more capable MLLM, as highlighted by only 50% to 60% accuracy achieved by the strongest models. Our benchmark and analysis will be available at https://scemqa.github.io/