Comparative Evaluation of LLM-Based Review Paradigms for Academic Paper Quality Assessment
作者: Fan Huang, Hongyu Zhou
分类: cs.CL, cs.DL
发布日期: 2026-10-30
备注: commit to EACL 2027
💡 一句话要点
评估LLM在学术论文质量评估中的应用与效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 学术论文评估 同行评审 直接评分 比较排名 引用相关性 评估范式
📋 核心要点
- 现有的同行评审方法在评估学术论文质量时面临结构不清晰和模型选择不当的问题。
- 本文提出了五种评估范式，结合不同输入表示和LLM，探索其在论文质量评估中的有效性。
- 实验结果表明，直接绝对评分在与人类评分的一致性上优于其他方法，并且使用摘要输入效果更佳。
📝 摘要（中文）
随着提交量的增加，利用大型语言模型（LLMs）支持同行评审的兴趣日益增长。然而，如何构建这种评估、模型的重要性以及LLM评分是否能预测研究影响仍不明确。本文评估了五种评估范式、三种输入表示和三种LLM在232个ICLR 2025提交中的表现。结果显示，直接绝对评分在与人类评分的排名相关性上优于比较排名，但大多数预测集中在接受阈值以上。经过重新校准，直接评分达到了比Elo更高的一致性，同时API调用次数仅为其24%。仅使用摘要输入的效果优于全文摘要，模型选择与范式选择同样重要。对11,513个评分提交的复制实验验证了这些模式，并发现人类评分在引用跟踪上表现优于任何范式，除了组评分外，组评分在控制人类评分后仍保持引用相关性。
🔬 方法详解
问题定义：本文旨在解决如何有效利用大型语言模型（LLMs）进行学术论文质量评估的问题。现有方法在评估结构和模型选择上存在不足，导致评估结果的准确性和可靠性受到影响。
核心思路：论文提出通过比较五种评估范式，结合不同的输入表示和LLM，来系统评估其在论文质量评估中的表现，旨在找到最佳的评估策略。
技术框架：整体架构包括数据收集、模型选择、输入表示、评估范式的设计与比较。主要模块包括直接评分、比较排名和基于组评分的评估。
关键创新：最重要的创新点在于通过直接绝对评分与比较排名的对比，发现直接评分在一致性上优于其他方法，并且在API调用次数上更具效率。
关键设计：在实验中，采用了基于摘要的输入表示，优化了模型选择，并通过重新校准控制基线，确保评估结果的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，直接绝对评分在与人类评分的一致性上达到了更高的水平，且API调用次数仅为Elo方法的24%。此外，摘要输入的效果优于全文摘要，表明输入形式对评估结果有显著影响。
🎯 应用场景
该研究的潜在应用领域包括学术期刊的同行评审流程、科研机构的论文质量评估以及学术搜索引擎的智能推荐系统。通过优化评估方法，可以提高评审效率和准确性，进而提升学术研究的整体质量和影响力。
📄 摘要（原文）
Growing submission volumes have renewed interest in using large language models (LLMs) to support peer review. It remains unclear how such evaluation should be structured, how much the model matters, and whether LLM scores predict research impact. We evaluate five paradigms across three input representations and three LLMs on 232 stratified ICLR 2025 submissions. Direct absolute rating matches comparative ranking on rank correlation with human scores, yet compresses most predictions above the accept threshold, flagging almost none of the papers reviewers scored below it. A base-rate-matched recalibration control locates the cause: comparative ranking supplies placement, not better ordering, and after recalibration Direct Rating reaches higher agreement than Elo while making 24% as many API calls. Abstract-only input beats full-paper summarization, and model choice matters as much as paradigm choice. Replicating on all 11,513 scored submissions reproduces these patterns, shows absolute agreement depends on the evaluated set's score spread, and finds none beating an always-reject baseline in accuracy. Human scores track citations better than any paradigm, with one exception: Group Rating retains its citation correlation after controlling for human scores, and alone ranks within the accepted pool. Ranking quality alone cannot assess review quality; calibration, thresholds, model, and target outcome all matter.