The AI Assessment Scale (AIAS) in action: A pilot implementation of GenAI supported assessment- A Preprint

📄 arXiv: 2403.14692v3 📥 PDF

作者: Leon Furze, Mike Perkins, Jasper Roe, Jason MacVaugh

分类: cs.CY, cs.AI

发布日期: 2024-03-15 (更新: 2025-02-25)

期刊: Australasian Journal of Educational Technology 40 2024 38-55

DOI: 10.14742/ajet.9434

💡 一句话要点

提出人工智能评估量表以促进教育中生成性人工智能的有效应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成性人工智能 学术诚信 教育评估 教学实践 高等教育

📋 核心要点

  1. 现有的禁止或惩罚性措施无法有效应对生成性人工智能在教育中的应用，导致学术不端行为频发。
  2. 论文提出了人工智能评估量表（AIAS），一个灵活的框架，帮助教育者设计关注人类输入和批判性思维的评估。
  3. 试点研究结果显示，AIAS实施后，学术不端行为显著减少，学生成绩和模块通过率均有显著提升。

📝 摘要（中文）

随着生成性人工智能（GenAI）技术在高等教育中的快速应用，学术诚信、评估实践和学生学习等问题引发了广泛关注。禁止或封锁GenAI工具的做法效果不佳，惩罚性措施忽视了这些技术的潜在益处。本文介绍了在越南英国大学进行的人工智能评估量表（AIAS）实施的试点研究，AIAS是一个灵活的框架，旨在将GenAI纳入教育评估中。研究结果显示，AIAS实施后，学术不端行为显著减少，学生成绩提高了5.9%，模块通过率增加了33.3%。AIAS促进了教学实践的转变，教师将GenAI工具融入课程，学生则提交了创新的多模态作业。研究表明，AIAS能够支持GenAI在高等教育中的有效整合，促进学术诚信，同时利用技术提升学习体验。

🔬 方法详解

问题定义：本研究旨在解决生成性人工智能在高等教育中应用带来的学术诚信和评估实践问题。现有的禁止措施未能有效遏制学术不端行为，反而可能抑制了学生的学习潜力。

核心思路：论文提出的AIAS框架通过五个级别的评估设计，允许教育者灵活地将GenAI纳入课程中，强调人类思维和创造力的重要性，从而促进学术诚信。

技术框架：AIAS框架分为五个级别，从“无AI”到“全AI”，教育者可以根据课程需求选择适当的级别，设计出既能利用GenAI又能考察学生能力的评估。

关键创新：AIAS的创新在于其灵活性和适应性，允许教育者根据具体课程和学习目标调整评估方式，区别于传统的单一评估方法。

关键设计：AIAS的设计考虑了不同学科的需求，评估内容和形式可以多样化，确保既能考察学生的知识掌握，又能鼓励创新思维。

📊 实验亮点

试点研究结果显示，实施AIAS后，学术不端行为显著减少，学生整体成绩提高了5.9%，模块通过率增加了33.3%。这些数据表明AIAS在促进学术诚信和提升学习效果方面的有效性。

🎯 应用场景

该研究的AIAS框架可广泛应用于高等教育的各个领域，帮助教育者有效整合生成性人工智能技术，提升教学质量和学生学习体验。未来，AIAS有潜力成为教育评估的标准工具，促进学术诚信和创新能力的培养。

📄 摘要（原文）

The rapid adoption of Generative Artificial Intelligence (GenAI) technologies in higher education has raised concerns about academic integrity, assessment practices, and student learning. Banning or blocking GenAI tools has proven ineffective, and punitive approaches ignore the potential benefits of these technologies. This paper presents the findings of a pilot study conducted at British University Vietnam (BUV) exploring the implementation of the Artificial Intelligence Assessment Scale (AIAS), a flexible framework for incorporating GenAI into educational assessments. The AIAS consists of five levels, ranging from 'No AI' to 'Full AI', enabling educators to design assessments that focus on areas requiring human input and critical thinking. Following the implementation of the AIAS, the pilot study results indicate a significant reduction in academic misconduct cases related to GenAI, a 5.9% increase in student attainment across the university, and a 33.3% increase in module passing rates. The AIAS facilitated a shift in pedagogical practices, with faculty members incorporating GenAI tools into their modules and students producing innovative multimodal submissions. The findings suggest that the AIAS can support the effective integration of GenAI in HE, promoting academic integrity while leveraging the technology's potential to enhance learning experiences. Refer to published version for final text.