G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German

📄 arXiv: 2402.06584v2 📥 PDF

作者: Ehsan Latif, Gyeong-Geon Lee, Knut Neumann, Tamara Kastorff, Xiaoming Zhai

分类: cs.CL, cs.AI

发布日期: 2024-02-09 (更新: 2024-08-16)

备注: Accepted by EDM and Submitted to JEDM

💡 一句话要点

提出G-SciEdBERT以解决德语科学评估任务的自动评分问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 德语自动评分 科学教育 上下文化模型 G-BERT 机器学习 自然语言处理 教育技术

📋 核心要点

  1. 现有的G-BERT模型在德语科学问题的自动评分中表现不佳，缺乏科学领域的上下文知识，难以适应学生的写作风格。
  2. 论文提出了G-SciEdBERT，一个专门为德语科学任务评分而设计的上下文化大语言模型，通过在特定语料上进行预训练和微调来提升性能。
  3. 实验结果表明，G-SciEdBERT在评分准确性上相比G-BERT有显著提升，二次加权Kappa值提高了10.2%，显示出其在教育领域的潜在应用价值。

📝 摘要（中文）

自然语言处理的进步为多种语言的自动评分系统铺平了道路，尤其是在德语领域。自动评分德语科学问题的书面回答是一项复杂的任务，标准的G-BERT模型在科学领域缺乏上下文知识，且与学生的写作风格不匹配。本文提出了一种针对德语科学教育的上下文化BERT模型（G-SciEdBERT），该模型专门用于评分德语书写的科学任务。通过在PISA 2018的数据集上对30K德语科学回答进行预训练，并在20K学生书写的回答上进行微调，实验结果显示G-SciEdBERT在评分准确性上显著提升，较G-BERT提高了10.2%的二次加权Kappa值，强调了专门化语言模型在教育领域的重要性。

🔬 方法详解

问题定义：本文旨在解决现有G-BERT模型在德语科学问题自动评分中的不足，主要体现在缺乏科学领域的上下文知识和与学生写作风格的不匹配。

核心思路：提出G-SciEdBERT模型，通过在特定的科学回答语料上进行预训练和微调，使其能够更好地理解和评分德语科学任务的书面回答。

技术框架：G-SciEdBERT的整体架构包括预训练和微调两个阶段。首先在包含30K德语科学回答的语料库上进行预训练，然后在额外的20K学生书写的回答上进行微调，以提高模型的评分准确性。

关键创新：G-SciEdBERT的主要创新在于其专门针对科学教育任务进行的训练，显著提高了模型在特定领域的上下文理解能力，与传统的G-BERT模型相比，具有更强的适应性和准确性。

关键设计：在训练过程中，使用了包含3M tokens的PISA 2018数据集进行预训练，并在微调阶段使用了2M tokens的额外数据，采用了适合科学任务的损失函数和网络结构设计，以优化评分性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，G-SciEdBERT在评分准确性上较G-BERT有显著提升，二次加权Kappa值提高了10.2%（均值差异为0.1026，标准差为0.069），证明了其在科学教育评估中的有效性和重要性。

🎯 应用场景

G-SciEdBERT的研究成果具有广泛的应用潜力，尤其是在教育领域的自动评分系统中。其能够有效提升德语科学任务的评分准确性，为教师和教育机构提供更为精准的学生评估工具，未来可能扩展到其他语言和学科的自动评分任务中。

📄 摘要（原文）

The advancement of natural language processing has paved the way for automated scoring systems in various languages, such as German (e.g., German BERT [G-BERT]). Automatically scoring written responses to science questions in German is a complex task and challenging for standard G-BERT as they lack contextual knowledge in the science domain and may be unaligned with student writing styles. This paper presents a contextualized German Science Education BERT (G-SciEdBERT), an innovative large language model tailored for scoring German-written responses to science tasks and beyond. Using G-BERT, we pre-trained G-SciEdBERT on a corpus of 30K German written science responses with 3M tokens on the Programme for International Student Assessment (PISA) 2018. We fine-tuned G-SciEdBERT on an additional 20K student-written responses with 2M tokens and examined the scoring accuracy. We then compared its scoring performance with G-BERT. Our findings revealed a substantial improvement in scoring accuracy with G-SciEdBERT, demonstrating a 10.2% increase of quadratic weighted Kappa compared to G-BERT (mean difference = 0.1026, SD = 0.069). These insights underline the significance of specialized language models like G-SciEdBERT, which is trained to enhance the accuracy of contextualized automated scoring, offering a substantial contribution to the field of AI in education.