Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation
作者: Maja Stahl, Leon Biermann, Andreas Nehring, Henning Wachsmuth
分类: cs.CL
发布日期: 2024-04-24
备注: Accepted to BEA Workshop 2024
💡 一句话要点
探索LLM提示策略以实现联合作文评分与反馈生成
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自动作文评分 反馈生成 个性化学习 教育技术
📋 核心要点
- 现有方法在提供个性化作文反馈时面临手动工作量大的挑战，限制了反馈的个性化程度。
- 论文提出通过探索LLM的提示策略，联合进行自动作文评分和反馈生成，以提高反馈质量。
- 实验结果表明，联合处理AES和反馈生成能够提升AES性能，但作文评分对反馈质量的影响有限。
📝 摘要（中文）
个性化反馈有助于学生提高作文写作能力，但手动提供反馈的工作量限制了个性化的实践。自动生成的作文反馈可以作为一种替代方案，帮助学生以自己的节奏、便利性和所需频率进行学习。大型语言模型（LLMs）在生成连贯且上下文相关的文本方面表现出色，但其提供有效作文反馈的能力尚不明确。本研究探索了几种基于LLM的零样本和少样本生成作文反馈的提示策略。受链式思维提示的启发，我们研究了自动作文评分（AES）如何在多大程度上提高生成反馈的质量。结果表明，联合处理AES和反馈生成可以改善AES性能，但尽管手动评估强调了生成反馈的质量，作文评分对生成反馈的影响仍然较低。
🔬 方法详解
问题定义：本论文旨在解决如何有效生成个性化作文反馈的问题。现有方法主要依赖人工评分，导致反馈个性化程度低，且工作量大。
核心思路：论文的核心思路是利用大型语言模型（LLMs）通过不同的提示策略进行零样本和少样本的作文反馈生成，探索其在自动作文评分（AES）中的应用潜力。
技术框架：整体架构包括两个主要模块：自动作文评分模块和反馈生成模块。首先，使用LLMs进行作文评分，然后基于评分结果生成相应的反馈。
关键创新：本研究的关键创新在于将AES与反馈生成联合考虑，探索如何通过提示策略提升生成反馈的质量，这与传统方法的分离处理方式有本质区别。
关键设计：在参数设置上，采用了多种提示策略，包括链式思维提示，评估不同提示对生成反馈质量的影响。损失函数设计上，重点关注生成反馈的相关性和实用性。
📊 实验亮点
实验结果显示，联合处理AES和反馈生成显著提高了AES的性能，尽管生成反馈的质量在手动评估中得到了认可，但作文评分对反馈的影响仍然较小。这表明在设计反馈生成系统时，需关注提示策略的选择。
🎯 应用场景
该研究的潜在应用场景包括教育技术领域，尤其是在自动化作文评分和个性化学习反馈系统中。通过自动生成反馈，教师可以更高效地支持学生的写作能力提升，未来可能在大规模在线课程和自适应学习平台中发挥重要作用。
📄 摘要（原文）
Individual feedback can help students improve their essay writing skills. However, the manual effort required to provide such feedback limits individualization in practice. Automatically-generated essay feedback may serve as an alternative to guide students at their own pace, convenience, and desired frequency. Large language models (LLMs) have demonstrated strong performance in generating coherent and contextually relevant text. Yet, their ability to provide helpful essay feedback is unclear. This work explores several prompting strategies for LLM-based zero-shot and few-shot generation of essay feedback. Inspired by Chain-of-Thought prompting, we study how and to what extent automated essay scoring (AES) can benefit the quality of generated feedback. We evaluate both the AES performance that LLMs can achieve with prompting only and the helpfulness of the generated essay feedback. Our results suggest that tackling AES and feedback generation jointly improves AES performance. However, while our manual evaluation emphasizes the quality of the generated essay feedback, the impact of essay scoring on the generated feedback remains low ultimately.