From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent

📄 arXiv: 2606.13349 📥 PDF

作者: Haishuo Fang, Yue Feng, Iryna Gurevych

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出ProReviewer以解决科学同行评审中的主动调查问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学同行评审 主动调查 大型语言模型 马尔可夫决策过程 结构化评审日志 强化学习 自动化评审

📋 核心要点

  1. 现有的科学同行评审方法在生成深入评审时缺乏基于证据的灵活性，难以主动调查可疑部分。
  2. 本文提出ProReviewer，通过将主动调查过程建模为马尔可夫决策过程（MDP），使评审代理能够灵活应对可疑内容。
  3. 实验结果显示，ProReviewer在多个质量维度上表现优异，尤其在与基线的对比中显示出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）在自动化科学同行评审方面展现出潜力，但现有方法往往难以生成基于具体证据的深入评审。本文指出，现有方法的主要局限在于缺乏主动调查论文中可疑部分的灵活性。为此，本文提出了ProReviewer，一个基于LLM的评审代理，能够在结构化的评审日志指导下主动进行评审。实验结果表明，ProReviewer在五个质量维度上取得了最高的平均评分，超越了更大规模的前沿LLM的提示方法达39%，并且相较于最强的微调基线提升了16%。

🔬 方法详解

问题定义：本文旨在解决现有科学同行评审方法在生成深入评审时缺乏主动调查能力的问题。现有方法往往无法有效识别和深入分析论文中的可疑部分，导致评审质量不足。

核心思路：论文的核心思路是将评审过程视为一个马尔可夫决策过程（MDP），通过维护一个结构化的评审日志，使评审代理能够主动调查和跟踪证据及中间发现。

技术框架：ProReviewer的整体架构包括一个评审代理和一个结构化的评审日志。评审代理在进行评审时，能够实时更新和查询评审日志，以便更好地支持其决策过程。

关键创新：最重要的技术创新点在于引入了主动调查机制，使得评审代理能够像人类评审者一样，基于积累的证据主动探索可疑内容。这一设计显著提升了评审的深度和质量。

关键设计：在技术细节上，ProReviewer使用了8B的模型作为基础，通过监督微调和强化学习进行优化。损失函数和参数设置经过精心设计，以确保模型在评审过程中的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ProReviewer在五个质量维度上取得了最高的平均评分，相较于更大规模的前沿LLM的提示方法提升达39%，并且在与最强的微调基线的对比中提升了16%。此外，在人类评估中，ProReviewer也展现出最高的胜率，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括学术出版、科研评审和自动化文献分析等。ProReviewer能够提高同行评审的效率和质量，帮助研究人员更快地识别和解决论文中的问题，进而推动科学研究的进展。未来，该技术可能会在更广泛的学术和工业领域中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) have shown promise in automating scientific peer review. However, existing approaches often struggle to generate in-depth reviews supported by concrete evidence. We argue that a key limitation is the lack of flexibility to proactively investigate suspicious parts of a paper based on accumulated evidence, as human reviewers do. In this paper, we explore how to enable an LLM-based review agent to perform such proactive investigation. We find that this can be naturally formulated as a Markov Decision Process (MDP), and propose ProReviewer, a scientific peer review agent that proactively reviews a paper guided by a maintained, structured review log. The structured review log serves as a workspace for the agent to track evidence and intermediate findings collected during review. Experiments show that ProReviewer with an 8B backbone, trained by supervised fine-tuning and optimized by reinforcement learning, achieves the highest average score across five quality dimensions, outperforming prompt-based methods with much larger frontier LLMs by up to 39% and the strongest fine-tuned baseline by 16% relatively. It also attains the highest win rates against baselines in human evaluation.