Japanese-English Sentence Translation Exercises Dataset for Automatic Grading

📄 arXiv: 2403.03396v1 📥 PDF

作者: Naoki Miura, Hiroaki Funayama, Seiya Kikuchi, Yuichiroh Matsubayashi, Yuya Iwase, Kentaro Inui

分类: cs.CL

发布日期: 2024-03-06

备注: 9 pages

💡 一句话要点

提出自动评估日英翻译练习的系统以提升语言学习效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评估 句子翻译 语言学习 机器学习 BERT GPT 数据集构建

📋 核心要点

  1. 现有的语言学习评估方法往往依赖人工评分，效率低且主观性强。
  2. 本文提出了一种自动评估日英翻译练习的系统，利用机器学习模型对学生回答进行评分。
  3. 实验结果显示，微调BERT模型在正确回答的分类上表现优异，F1分数接近90%。

📝 摘要（中文）

本文提出了自动评估句子翻译练习（STE）的任务，该任务用于L2语言学习的早期阶段。我们将该任务形式化为根据教育者预先指定的评分标准对学生的回答进行评分。为此，我们创建了一个包含21个问题的日英翻译练习数据集，共收集了3,498个学生回答（平均每题167个）。通过使用该数据集，我们展示了包括微调BERT和GPT模型在内的基线模型的性能。实验结果表明，微调BERT的基线模型在正确回答的F1分数上达到了约90%，但对于错误回答则低于80%。此外，使用少量示例学习的GPT模型表现不如微调BERT，表明该新提出的任务对当前最先进的大型语言模型仍然具有挑战性。

🔬 方法详解

问题定义：本文旨在解决传统语言学习中人工评分的低效与主观性问题，提出自动评估句子翻译练习的任务。现有方法在评估准确性和效率上存在不足。

核心思路：通过创建一个包含日英翻译练习的数据集，并利用机器学习模型（如微调BERT和GPT）对学生的翻译回答进行自动评分，从而提高评估的客观性和效率。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。首先，收集学生和众包工作者的翻译回答；其次，使用微调的BERT和GPT模型进行训练；最后，评估模型在分类正确与错误回答上的表现。

关键创新：本研究的创新点在于首次将自动评估应用于日英翻译练习，并通过数据集的构建和模型的微调，展示了这一任务的可行性和挑战性。与现有方法相比，提供了更为系统化的评估机制。

关键设计：在模型训练中，采用了微调BERT和GPT的策略，设置了特定的损失函数以优化分类性能。实验中，微调BERT模型在正确回答的F1分数上达到了约90%，而GPT模型的表现则相对较差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调BERT模型在正确回答的F1分数上达到了约90%，而对于错误回答的分类则低于80%。相较于微调BERT，使用少量示例学习的GPT模型表现不佳，表明该任务对当前大型语言模型仍具挑战性。

🎯 应用场景

该研究的潜在应用领域包括语言学习平台、在线教育系统以及自动化评估工具。通过自动化评分，可以大幅提升语言学习的效率，减轻教师的负担，并为学生提供及时反馈，促进学习效果的提升。未来，该技术有望扩展到更多语言对的翻译练习评估中。

📄 摘要（原文）

This paper proposes the task of automatic assessment of Sentence Translation Exercises (STEs), that have been used in the early stage of L2 language learning. We formalize the task as grading student responses for each rubric criterion pre-specified by the educators. We then create a dataset for STE between Japanese and English including 21 questions, along with a total of 3, 498 student responses (167 on average). The answer responses were collected from students and crowd workers. Using this dataset, we demonstrate the performance of baselines including finetuned BERT and GPT models with few-shot in-context learning. Experimental results show that the baseline model with finetuned BERT was able to classify correct responses with approximately 90% in F1, but only less than 80% for incorrect responses. Furthermore, the GPT models with few-shot learning show poorer results than finetuned BERT, indicating that our newly proposed task presents a challenging issue, even for the stateof-the-art large language models.