Assessing Large Language Models in Mechanical Engineering Education: A Study on Mechanics-Focused Conceptual Understanding
作者: Jie Tian, Jixin Hou, Zihao Wu, Peng Shu, Zhengliang Liu, Yujie Xiang, Beikang Gu, Nicholas Filla, Yiwei Li, Ning Liu, Xianyan Chen, Keke Tang, Tianming Liu, Xianqiao Wang
分类: cs.CL, cs.AI, physics.ed-ph
发布日期: 2024-01-13
备注: 30 pages, 7 figures, and 1 table
💡 一句话要点
评估大型语言模型在机械工程教育中的应用潜力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 机械工程教育 力学概念理解 提示工程 模型评估
📋 核心要点
- 现有的机械工程教育中，传统教学方法在概念理解和问题解决能力上存在不足，尤其是对复杂力学问题的处理。
- 本研究通过设计一套包含126道选择题的考试，评估大型语言模型在机械工程教育中的应用，探索其在力学概念理解中的能力。
- 实验结果显示，GPT-4在大多数力学主题的回答中表现优于其他模型和人类受试者，尤其在提示工程的应用上显著提升了LLMs的表现。
📝 摘要（中文）
本研究首次探讨了大型语言模型（LLMs）在机械工程领域内解决概念性问题的能力，重点关注力学课程。研究设计了一份包含126道选择题的手动考试，涵盖流体力学、机械振动、工程静力学与动力学、材料力学、弹性理论和连续介质力学等多个方面。通过对ChatGPT（GPT-3.5）、ChatGPT（GPT-4）和Claude（Claude-2.1）三种LLMs的评估，发现GPT-4在大多数力学主题的回答中表现优于其他模型和人类受试者，尽管在连续介质力学方面表现不佳。这表明GPT模型在处理符号计算和张量分析方面仍有改进空间。LLMs的表现通过在直接回答前提供解释得到了显著提升，强调了提示工程的重要性。GPT-3.5在更广泛领域的提示下表现更佳，而GPT-4则在特定主题的提示下表现突出。最后，GPT-4在减轻输入偏见方面也显示出显著进步，表明LLMs在机械教育和科学研究中作为知识助手的巨大潜力。
🔬 方法详解
问题定义：本研究旨在评估大型语言模型在机械工程教育中解决力学概念性问题的能力。现有方法主要依赖传统教学，难以有效评估学生的理解能力和模型的应用潜力。
核心思路：通过设计一套手动考试，包含多种力学主题的问题，比较不同LLMs的表现，以探索其在教育中的应用潜力和局限性。
技术框架：研究采用了126道选择题，涵盖流体力学、机械振动等多个领域，评估了三种LLMs的回答质量，并与人类受试者的表现进行了对比。
关键创新：本研究首次系统性地评估了LLMs在机械工程教育中的应用，特别是在力学概念理解方面的能力，揭示了提示工程对模型表现的重要影响。
关键设计：在实验中，LLMs的回答质量通过提供解释提示得到了显著提升，GPT-3.5在广泛领域的提示下表现更佳，而GPT-4则在特定主题的提示下表现突出。
📊 实验亮点
实验结果显示，GPT-4在大多数力学主题的回答中表现优于其他模型和人类受试者，尤其在提示工程的应用上，LLMs的表现得到了显著提升。GPT-4在减轻输入偏见方面也显示出显著进步，表明其在教育中的应用潜力。
🎯 应用场景
该研究的结果为机械工程教育提供了新的视角，展示了大型语言模型作为教学辅助工具的潜力。未来，LLMs可以在个性化学习、自动化评估和知识传播等领域发挥重要作用，推动教育模式的创新与发展。
📄 摘要（原文）
This study is a pioneering endeavor to investigate the capabilities of Large Language Models (LLMs) in addressing conceptual questions within the domain of mechanical engineering with a focus on mechanics. Our examination involves a manually crafted exam encompassing 126 multiple-choice questions, spanning various aspects of mechanics courses, including Fluid Mechanics, Mechanical Vibration, Engineering Statics and Dynamics, Mechanics of Materials, Theory of Elasticity, and Continuum Mechanics. Three LLMs, including ChatGPT (GPT-3.5), ChatGPT (GPT-4), and Claude (Claude-2.1), were subjected to evaluation against engineering faculties and students with or without mechanical engineering background. The findings reveal GPT-4's superior performance over the other two LLMs and human cohorts in answering questions across various mechanics topics, except for Continuum Mechanics. This signals the potential future improvements for GPT models in handling symbolic calculations and tensor analyses. The performances of LLMs were all significantly improved with explanations prompted prior to direct responses, underscoring the crucial role of prompt engineering. Interestingly, GPT-3.5 demonstrates improved performance with prompts covering a broader domain, while GPT-4 excels with prompts focusing on specific subjects. Finally, GPT-4 exhibits notable advancements in mitigating input bias, as evidenced by guessing preferences for humans. This study unveils the substantial potential of LLMs as highly knowledgeable assistants in both mechanical pedagogy and scientific research.