From Texts to Scores: Tracing the Emergence of Essay Quality Representations in Large Language Models

📄 arXiv: 2606.20152v1 📥 PDF

作者: Jiaxu Zuo, Mu You, Kaixin Lan, Tao Fang, Yujia Huo, Henghua Shen, Lidia S. Chao, Derek F. Wong

分类: cs.CL, cs.AI

发布日期: 2026-06-18

备注: This is a preprint of a manuscript currently under peer review

💡 一句话要点

揭示大语言模型中论文质量表征的演变机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化论文评分 大语言模型 隐藏表征 线性探测 可解释性 神经元分析 教育评估

📋 核心要点

  1. 现有的自动化论文评分方法对大语言模型的内部机制理解不足，导致评分准确性和可解释性受限。
  2. 本文通过系统分析LLMs的隐藏表征，提出利用线性探测等方法揭示论文质量信息的编码方式。
  3. 研究发现，论文质量信息在LLM中以线性可访问的形式存在，并且与论文长度和评分神经元的激活密切相关。

📝 摘要（中文）

近年来，大语言模型（LLMs）的进步显著改变了自动化论文评分（AES）领域，但其内部机制仍不够清晰。本文系统分析了八种LLMs在两个英语论文数据集（ASAP++、CSEE）和一个葡萄牙语数据集（ENEM）上的隐藏表征。通过线性探测、跨提示泛化、降维和神经元级分析，我们发现论文质量信息以线性可访问的形式编码在LLM表征中。这些表征在层间逐步显现，且在不同提示策略下保持稳健，尽管评分标准存在差异，仍能部分迁移。此外，非线性探测仅提供了边际和不一致的改进，表明大多数论文质量信息已可线性解码。我们还识别了与论文分数强相关的“论文评分神经元”，其激活对目标干预敏感。整体而言，研究结果为LLM在AES系统中的可解释性提供了新见解。

🔬 方法详解

问题定义：本文旨在解决大语言模型在自动化论文评分中的内部机制不明确的问题，现有方法在理解和解释模型评分时存在不足。

核心思路：通过系统分析LLMs的隐藏表征，利用线性探测、降维等技术，揭示论文质量信息的编码方式，进而提高评分的可解释性。

技术框架：研究采用了线性探测、跨提示泛化、降维和神经元级分析等方法，分析了不同层次的表征，评估了其在不同提示下的表现。

关键创新：本文的主要创新在于识别了“论文评分神经元”，这些神经元的激活与论文分数高度相关，且其行为对干预敏感，提供了新的可解释性视角。

关键设计：研究中采用了线性探测作为主要分析工具，设置了不同的提示策略，并对神经元激活进行了细致分析，以探讨其与论文质量的关系。

📊 实验亮点

实验结果表明，论文质量信息在LLM中以线性可访问的形式存在，且通过线性探测获得的结果与实际评分高度相关。研究还发现，长篇论文的评分更依赖于模型的深层表征，提供了新的理解模型行为的视角。

🎯 应用场景

该研究为自动化论文评分系统提供了新的可解释性视角，能够帮助教育工作者和评估机构更好地理解模型评分的依据，进而提升评分系统的透明度和可靠性。未来，研究成果可应用于教育评估、在线学习平台等领域，推动个性化学习和智能评估的发展。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have substantially transformed Automated Essay Scoring (AES), yet the internal mechanisms underlying LLM-based scoring remain poorly understood. In this work, we systematically analyze the hidden representations of eight LLMs across two English essay datasets (ASAP++, CSEE) and one Portuguese dataset (ENEM). Using linear probing, cross-prompt generalization, dimensionality reduction, and neuron-level analyses, we find consistent evidence that essay quality information is encoded in a linearly accessible form within LLM representations. These representations emerge progressively across layers, remain robust across prompting strategies, and partially transfer across essay prompts despite differences in scoring rubrics. In addition, nonlinear probes provide only marginal and inconsistent improvements over linear probes, suggesting that most essay quality information is already linearly decodable. We further identify individual ``essay scoring neurons'' whose activations strongly correlate with essay scores and whose behavior is sensitive to targeted intervention. Moreover, the layer-wise distribution of these neurons systematically shifts with essay length, with longer essays relying more heavily on deeper layers. Overall, our findings provide evidence that LLMs encode structured representations related to essay quality and offer new insights into the interpretability of LLM-based AES systems.