Measuring Vision-Language STEM Skills of Neural Models

📄 arXiv: 2402.17205v3 📥 PDF

作者: Jianhao Shen, Ye Yuan, Srbuhi Mirzoyan, Ming Zhang, Chenguang Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-27 (更新: 2024-05-22)

备注: Accepted in ICLR 2024

💡 一句话要点

提出新数据集以评估神经模型的STEM技能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: STEM教育 多模态学习 神经模型评估 数据集构建 基础技能

📋 核心要点

  1. 现有数据集多集中于专家级能力评估，缺乏对基础STEM技能的全面考量。
  2. 本文提出了一个包含448项技能和超过一百万个问题的新数据集，旨在测试神经模型的STEM理解能力。
  3. 实验结果显示，当前模型在基础技能上的表现仍低于小学生平均水平，表明需要进一步的算法创新。

📝 摘要（中文）

本文介绍了一项新挑战，旨在测试神经模型的STEM（科学、技术、工程和数学）技能。与现有数据集不同，本文的数据集要求理解多模态视觉-语言信息，涵盖448项技能和1,073,146个问题，涉及所有STEM学科。该数据集不仅关注专家级能力，还包括基于K-12课程设计的基础技能和问题。通过引入CLIP和GPT-3.5-Turbo等先进模型进行基准测试，结果显示，尽管模型性能有所提升，但仍远低于小学生的平均水平，表明解决STEM问题需要社区的创新算法。

🔬 方法详解

问题定义：本文旨在解决现有神经模型在STEM技能评估中的不足，尤其是缺乏对基础技能的关注。现有方法多集中于专家级能力，未能有效评估模型在基础教育阶段的表现。

核心思路：论文通过构建一个新的多模态数据集，结合视觉和语言信息，来全面测试模型的STEM技能。设计思路在于通过基础教育课程内容来评估模型的实际应用能力。

技术框架：整体架构包括数据集构建、模型选择（如CLIP和GPT-3.5-Turbo）、基准测试和性能评估。数据集涵盖了多种STEM主题，确保了问题的多样性和复杂性。

关键创新：最重要的创新在于构建了一个大规模且综合的STEM技能数据集，填补了现有研究中对基础技能评估的空白。与现有方法相比，本文强调了基础教育阶段的技能评估。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以适应多模态数据的特性。模型的训练分为多个阶段，确保了对不同技能层次的有效学习。实验中还对模型的表现进行了细致的分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前模型在第三年级的基础技能上仅达到2.5%的掌握率，整体表现平均为54.7%，远低于小学生的平均水平。这一发现强调了现有模型在基础教育领域的局限性，并指出了未来研究的方向。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和STEM教育评估工具。通过评估模型在基础STEM技能上的表现，可以为教育工作者提供有价值的反馈，帮助他们更好地设计课程和教学策略。此外，研究成果可能推动新算法的开发，以提高模型在教育领域的应用效果。

📄 摘要（原文）

We introduce a new challenge to test the STEM skills of neural models. The problems in the real world often require solutions, combining knowledge from STEM (science, technology, engineering, and math). Unlike existing datasets, our dataset requires the understanding of multimodal vision-language information of STEM. Our dataset features one of the largest and most comprehensive datasets for the challenge. It includes 448 skills and 1,073,146 questions spanning all STEM subjects. Compared to existing datasets that often focus on examining expert-level ability, our dataset includes fundamental skills and questions designed based on the K-12 curriculum. We also add state-of-the-art foundation models such as CLIP and GPT-3.5-Turbo to our benchmark. Results show that the recent model advances only help master a very limited number of lower grade-level skills (2.5% in the third grade) in our dataset. In fact, these models are still well below (averaging 54.7%) the performance of elementary students, not to mention near expert-level performance. To understand and increase the performance on our dataset, we teach the models on a training split of our dataset. Even though we observe improved performance, the model performance remains relatively low compared to average elementary students. To solve STEM problems, we will need novel algorithmic innovations from the community.