Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

📄 arXiv: 2608.16318v1 📥 PDF

作者: Marina Lepp, Joosep Kaimre

分类: cs.SE, cs.AI, cs.PF

发布日期: 2026-08-17

💡 一句话要点

评估生成式人工智能在面向对象编程评估中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成式人工智能 面向对象编程 编程评估 大型语言模型 教育技术 软件工程 AI辅助编程

📋 核心要点

  1. 现有的生成式人工智能在真实的面向对象编程评估中的表现尚未得到充分理解，尤其是在高级概念上存在不足。
  2. 本研究通过评估五种主流GenAI系统在大学OOP课程中的表现，提供了对其能力和局限性的更新评估。
  3. 评估结果显示，所有GenAI系统的表现普遍优于学生平均水平，但在某些编程任务上仍然存在非编译代码的问题。

📝 摘要（中文）

近年来，生成式人工智能（GenAI）的进步显著提升了大型语言模型（LLMs）生成和解释源代码的能力。然而，它们在真实的面向对象编程（OOP）评估中的表现仍然不足。本研究评估了五种广泛使用的GenAI系统，包括ChatGPT-5.2、DeepSeek-V3、Gemini 2.5 Flash、Claude Sonnet 4.5和M365 Copilot，使用来自大学OOP课程的编程测试和考试任务。生成的解决方案使用与学生相同的评分标准进行评估，并与历史学生结果进行比较。所有评估的GenAI系统在大多数评估中表现优于平均学生群体，但在高级OOP概念和图形相关问题上仍存在局限性。研究结果为GenAI在软件工程教育中的负责任整合提供了依据。

🔬 方法详解

问题定义：本研究旨在评估生成式人工智能在真实的面向对象编程评估中的表现，特别是其在高级概念和图形相关问题上的局限性。现有方法未能充分揭示这些系统在实际编程任务中的有效性和可靠性。

核心思路：通过对五种主流GenAI系统进行系统评估，比较其生成的代码与学生的表现，分析其常见错误，以识别模型的局限性和改进方向。

技术框架：研究采用编程测试和考试任务作为评估标准，使用与学生相同的评分标准对生成的代码进行打分，并与历史数据进行对比。主要模块包括代码生成、评分标准应用和错误分析。

关键创新：本研究的创新在于系统性地比较不同GenAI系统在真实编程评估中的表现，揭示了它们在特定任务上的优势和不足，尤其是在高级OOP概念的处理上。

关键设计：研究中使用的评分标准与传统学生评估一致，确保了评估结果的可靠性。同时，分析了生成代码的常见错误，以便为未来的GenAI系统改进提供依据。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

评估结果显示，所有GenAI系统在大多数评估中得分高于平均学生群体，且在较长的编程任务中经常获得满分。然而，它们在处理高级OOP概念和图形相关问题时仍表现出明显的局限性，偶尔生成非编译代码。

🎯 应用场景

该研究的结果为教育领域提供了重要的参考，尤其是在软件工程教育中，能够指导如何有效整合生成式人工智能工具以提升学生的编程能力。同时，这些发现也为未来的编程评估设计提供了实证依据，促进了AI辅助编程的研究进展。

📄 摘要（原文）

Recent advances in Generative Artificial Intelligence (GenAI) have substantially improved the ability of large language models (LLMs) to generate and explain source code. However, their performance on authentic object-oriented programming (OOP) assessments remains insufficiently understood. This study evaluates five widely used GenAI systems, ChatGPT-5.2, DeepSeek-V3, Gemini 2.5 Flash, Claude Sonnet 4.5, and M365 Copilot, using programming tests and examination tasks from an introductory university OOP course. The generated solutions were assessed using the same grading criteria applied to students and compared with historical student results from the same course, as well as findings from the previous year. Common errors were also analyzed to identify recurring limitations across models. All evaluated GenAI systems achieved higher scores than the average student cohort and frequently obtained full marks on longer programming tasks. Nevertheless, they occasionally produced non-compiling code and continued to struggle with advanced OOP concepts, particularly interfaces, abstract classes, and certain inheritance-related tasks. Performance was also limited on graphics-related questions involving image interpretation. Compared with the previous year, the evaluated systems demonstrated noticeable improvements across most assessments while exhibiting several recurring error patterns. The findings provide an updated evaluation of the capabilities and limitations of contemporary GenAI systems on authentic introductory OOP assessments. They also offer evidence that can inform the design of programming assessments, the responsible integration of GenAI tools into software engineering education, and future studies evaluating the evolution of AI-assisted programming.