From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent

📄 arXiv: 2606.13349v1 📥 PDF

作者: Haishuo Fang, Yue Feng, Iryna Gurevych

分类: cs.CL

发布日期: 2026-06-11

💡 一句话要点

提出ProReviewer以解决科学同行评审中的主动调查问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学评审 主动调查 大型语言模型 马尔可夫决策过程 结构化日志 强化学习 评审质量 人工智能

📋 核心要点

  1. 现有的科学同行评审方法缺乏主动调查的能力，难以深入分析论文中的可疑部分。
  2. 本文提出ProReviewer，通过马尔可夫决策过程（MDP）实现主动评审，并利用结构化评审日志跟踪证据。
  3. 实验结果显示，ProReviewer在五个质量维度上平均得分最高，超越了更大模型的提示方法39%和最强基线16%。

📝 摘要（中文）

大型语言模型（LLMs）在自动化科学同行评审方面展现了潜力，但现有方法往往难以生成基于具体证据的深入评审。本文指出，现有方法的主要限制在于缺乏主动调查论文中可疑部分的灵活性。为此，本文提出了一种基于马尔可夫决策过程（MDP）的科学评审代理ProReviewer，能够主动进行评审，并通过维护结构化的评审日志来跟踪证据和中间发现。实验结果表明，ProReviewer在多个质量维度上表现优异，超越了更大模型的提示方法和最强的微调基线。

🔬 方法详解

问题定义：本文旨在解决现有科学同行评审方法在生成深入评审时缺乏主动调查能力的问题。现有方法往往依赖于静态提示，无法灵活应对论文中的可疑部分。

核心思路：论文的核心思路是将评审过程建模为马尔可夫决策过程（MDP），使评审代理能够根据已有证据主动调查可疑内容，从而提高评审质量。

技术框架：ProReviewer的整体架构包括一个评审代理和一个结构化评审日志。评审代理在评审过程中动态更新日志，记录证据和中间发现，形成一个反馈循环。

关键创新：ProReviewer的主要创新在于其主动调查机制，通过结构化评审日志支持动态决策，与传统的静态评审方法形成鲜明对比。

关键设计：在技术细节上，ProReviewer使用了8B的模型作为基础，通过监督微调和强化学习进行优化，采用特定的损失函数来平衡评审质量和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ProReviewer在实验中表现出色，平均得分在五个质量维度上超越了提示方法39%和最强基线16%。此外，在人类评估中，ProReviewer的胜率也高于所有基线，显示出其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括科学出版、学术评审和科研诚信等。通过提高同行评审的质量和效率，ProReviewer能够帮助学术界更好地识别和纠正研究中的问题，促进科学研究的透明性和可信度。未来，该技术可能扩展到其他领域，如技术审查和政策评估等。

📄 摘要（原文）

Large language models (LLMs) have shown promise in automating scientific peer review. However, existing approaches often struggle to generate in-depth reviews supported by concrete evidence. We argue that a key limitation is the lack of flexibility to proactively investigate suspicious parts of a paper based on accumulated evidence, as human reviewers do. In this paper, we explore how to enable an LLM-based review agent to perform such proactive investigation. We find that this can be naturally formulated as a Markov Decision Process (MDP), and propose ProReviewer, a scientific peer review agent that proactively reviews a paper guided by a maintained, structured review log. The structured review log serves as a workspace for the agent to track evidence and intermediate findings collected during review. Experiments show that ProReviewer with an 8B backbone, trained by supervised fine-tuning and optimized by reinforcement learning, achieves the highest average score across five quality dimensions, outperforming prompt-based methods with much larger frontier LLMs by up to 39% and the strongest fine-tuned baseline by 16% relatively. It also attains the highest win rates against baselines in human evaluation.