Evaluating Large Language Models on the GMAT: Implications for the Future of Business Education

📄 arXiv: 2401.02985v1 📥 PDF

作者: Vahid Ashrafimoghari, Necdet Gürkan, Jordan W. Suchow

分类: cs.CL, cs.AI

发布日期: 2024-01-02

💡 一句话要点

评估大型语言模型在GMAT中的表现以推动商业教育发展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 商业教育 GMAT考试 人工智能 教育评估 生成式AI 推理能力

📋 核心要点

  1. 现有的商业教育评估方法未能充分利用AI技术，尤其是在GMAT考试中对LLMs的应用尚未被深入研究。
  2. 本研究通过建立评估基准，系统性地分析了七种主要LLMs在GMAT考试中的表现，揭示了其在教育领域的潜力。
  3. 实验结果显示，大多数LLMs的表现超过人类考生，GPT-4 Turbo的表现尤为突出，超越了顶级商学院研究生的平均分。

📝 摘要（中文）

人工智能，尤其是大型语言模型（LLMs）和生成式AI的快速发展，为各个领域的应用开辟了新途径，但在商业教育中的作用仍未得到充分探索。本研究首次建立了评估七种主要LLMs（包括OpenAI的GPT-3.5 Turbo、GPT-4及GPT-4 Turbo，Google的PaLM 2和Gemini 1.0 Pro，以及Anthropic的Claude 2和Claude 2.1）在GMAT考试中的表现的基准。分析表明，大多数LLMs的表现超过了人类考生，尤其是GPT-4 Turbo不仅超越了其他模型，还超过了顶级商学院研究生的平均分。通过案例研究，探讨了GPT-4 Turbo在解释答案、评估回应、识别错误、定制指令和生成替代场景方面的能力。最新版本的LLMs在推理任务上显示出显著提升，强调了其在复杂问题解决中的潜力。尽管AI在教育、评估和辅导中的前景明确，但仍面临挑战。研究强调了在教育中谨慎开发和应用AI的必要性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在商业教育评估中的应用不足，尤其是GMAT考试的表现评估。现有方法未能充分利用AI的潜力，导致教育评估的有效性受到限制。

核心思路：研究通过建立一个系统的评估基准，比较七种主要的LLMs在GMAT考试中的表现，探索其在教育评估中的应用潜力。这样的设计旨在揭示LLMs在复杂问题解决中的优势。

技术框架：整体架构包括数据收集、模型选择、评估指标设定和结果分析四个主要模块。首先收集GMAT考试的样本题目，然后选择七种LLMs进行测试，最后通过比较分析评估其表现。

关键创新：本研究的创新点在于首次系统性地评估多种LLMs在GMAT考试中的表现，并发现GPT-4 Turbo在多个维度上超越了其他模型，展示了其在教育评估中的应用潜力。

关键设计：研究中设置了多种评估指标，包括准确性、推理能力和错误识别能力等，确保全面评估模型的表现。模型的选择涵盖了当前最先进的LLMs，确保了研究的前沿性和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4 Turbo在GMAT考试中的表现超越了其他六种LLMs，且其得分超过了顶级商学院研究生的平均分，表明其在复杂推理任务中的显著优势。这一发现为AI在教育领域的应用提供了强有力的支持。

🎯 应用场景

该研究的潜在应用领域包括商业教育、在线学习平台和智能辅导系统。通过利用LLMs的优势，可以改善学生的学习体验，提高考试准备的效率，并为教育评估提供新的思路和方法，推动教育公平和质量的提升。

📄 摘要（原文）

The rapid evolution of artificial intelligence (AI), especially in the domain of Large Language Models (LLMs) and generative AI, has opened new avenues for application across various fields, yet its role in business education remains underexplored. This study introduces the first benchmark to assess the performance of seven major LLMs, OpenAI's models (GPT-3.5 Turbo, GPT-4, and GPT-4 Turbo), Google's models (PaLM 2, Gemini 1.0 Pro), and Anthropic's models (Claude 2 and Claude 2.1), on the GMAT, which is a key exam in the admission process for graduate business programs. Our analysis shows that most LLMs outperform human candidates, with GPT-4 Turbo not only outperforming the other models but also surpassing the average scores of graduate students at top business schools. Through a case study, this research examines GPT-4 Turbo's ability to explain answers, evaluate responses, identify errors, tailor instructions, and generate alternative scenarios. The latest LLM versions, GPT-4 Turbo, Claude 2.1, and Gemini 1.0 Pro, show marked improvements in reasoning tasks compared to their predecessors, underscoring their potential for complex problem-solving. While AI's promise in education, assessment, and tutoring is clear, challenges remain. Our study not only sheds light on LLMs' academic potential but also emphasizes the need for careful development and application of AI in education. As AI technology advances, it is imperative to establish frameworks and protocols for AI interaction, verify the accuracy of AI-generated content, ensure worldwide access for diverse learners, and create an educational environment where AI supports human expertise. This research sets the stage for further exploration into the responsible use of AI to enrich educational experiences and improve exam preparation and assessment methods.