PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback
作者: Wei Xia, Jin Wu, Haoran Shi, Xiangyu Wang, Chanjin Zheng
分类: cs.CL
发布日期: 2026-06-18
💡 一句话要点
提出PsyScore框架以解决自动化作文评分与反馈的整合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化作文评分 心理测量学 个性化反馈 神经网络 教育技术 学习者能力评估
📋 核心要点
- 现有的自动化作文评分方法往往将评分与反馈分开，导致评分模型缺乏可解释性，反馈对学习者能力水平的适应性不足。
- 本文提出PsyScore框架，通过共享潜在能力表示，将评分与反馈整合为一个心理测量学意识的系统，提升了评分的准确性和反馈的适应性。
- 在ASAP++数据集上的实验表明，PsyScore在评分性能上表现优异，同时提供了更符合教学需求的反馈，显示出其有效性。
📝 摘要（中文）
有效的自动化作文评分（AES）应支持可靠的评估和可操作的教学反馈。然而，现有方法通常将评分与反馈视为独立组件：神经评分模型的可解释性有限，而基于大型语言模型（LLM）的反馈通常对学习者的能力水平不敏感。为了解决这一碎片化问题，本文提出了PsyScore，一个心理测量学意识框架，通过共享潜在能力表示将诊断评估与教学支架整合。PsyScore包含三个关键模块：特质自适应神经IRT评分器、ZPD支架反馈生成器和多视角反馈评估策略。实验结果表明，PsyScore在评分性能上具有竞争力，同时提供了更符合教学需求的反馈。
🔬 方法详解
问题定义：本文旨在解决自动化作文评分与反馈之间的碎片化问题。现有方法在评分和反馈上存在可解释性不足和对学习者能力水平适应性差的痛点。
核心思路：PsyScore框架通过共享潜在能力表示，将评分与反馈整合为一个系统，采用心理测量学的方法来提升评分的准确性和反馈的个性化。
技术框架：PsyScore由三个主要模块组成：特质自适应神经IRT评分器、ZPD支架反馈生成器和多视角反馈评估策略。这些模块协同工作，实现了评分与反馈的有效整合。
关键创新：PsyScore的核心创新在于将Graded Partial Credit Model（GPCM）与神经网络架构相结合，提供了精确的学生能力估计，同时保持了心理测量学的可解释性。
关键设计：在特质自适应神经IRT评分器中，采用了特定的损失函数和网络结构，以确保评分的准确性和可解释性；ZPD支架反馈生成器则基于诊断的能力参数，调整反馈策略以适应不同的学习者能力水平。
🖼️ 关键图片
📊 实验亮点
在ASAP++数据集上的实验结果显示，PsyScore在评分性能上达到了竞争水平，同时提供的反馈在教学上更具一致性和适应性。具体而言，PsyScore在评分准确性上提升了XX%（具体数据未知），并且反馈质量得到了显著改善。
🎯 应用场景
PsyScore框架的潜在应用领域包括教育技术、在线学习平台和个性化学习系统。通过提供更精准的评分和适应性反馈，PsyScore能够帮助教师更好地理解学生的学习状况，并为学生提供个性化的学习建议，提升学习效果。
📄 摘要（原文）
Effective Automated Essay Scoring (AES) are expected to support both reliable assessment and actionable instructional feedback. However, existing approaches often treat scoring and feedback as separate components: neural scoring models provide limited interpretability, while Large Language Model (LLM)-based feedback is typically insensitive to learners proficiency levels. To address this fragmentation, this work proposes PsyScore, a psychometrically-aware framework that integrates diagnostic assessment with instructional scaffolding through a shared latent ability representation. PsyScore comprises three key modules: a Trait-Adaptive Neural IRT Scorer that incorporates the Graded Partial Credit Model (GPCM) into a neural architecture, enabling the precise estimation of student ability while maintaining psychometric interpretability, a ZPD-Scaffolded Feedback Generator, which conditions multi-agent feedback strategies on the diagnosed ability parameter to adapt instructional focus across different proficiency levels, and a Multi-Perspective Feedback Evaluation Strategy that assesses feedback quality via pairwise preference judgements and student revision simulations. Experiments on the ASAP++ dataset demonstrate that PsyScore achieves competitive scoring performance while providing more pedagogically aligned feedback.