Style over Substance? Linguistic Bias in LLM-based Peer Review Copy title

📄 arXiv: 2610.35254v1 📥 PDF

作者: Sai Suresh Macharla Vasu, Sumedh Santosh Joshi, Philipp Christmann, Ivaxi Sheth, Ruta Binkyte, Koel Dutta Chowdhury, Raouf Kerkouche, Hui-Po Wang, Mario Fritz

分类: cs.CL

发布日期: 2026-10-26

备注: Preprint. Submitted to ICLR 2027

💡 一句话要点

提出实验框架研究LLM在同行评审中的语言偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 同行评审 语言偏见 科学评估 实验框架 自信修辞 学术出版

📋 核心要点

  1. 现有的LLM在同行评审中可能受到语言特征的影响，导致评估结果不可靠。
  2. 本文通过重写论文以改变语言风格，系统研究语言特征对评审结果的影响。
  3. 实验结果显示，评审者倾向于奖励自信的语言表达，而忽视科学内容的质量。

📝 摘要（中文）

近年来，主要AI会议的论文提交数量急剧增加，显著加重了研究人员的同行评审工作负担。同时，大型语言模型（LLMs）被越来越多地用于支持同行评审。尽管LLM的能力显著提升，但其评估可能受到与科学内容无关的语言特征的影响。本文引入了一种控制实验框架，通过系统性地扰动研究论文的语言风格来研究这种影响。具体而言，我们重写论文以展示与母语或非母语英语写作相关的语言特征，以及高或低自信的语言特征。我们的实验揭示了LLM同行评审中的一个关键脆弱性：评审者系统性地奖励自信的修辞，而不考虑科学内容，这对评估的稳健性提出了严重质疑。

🔬 方法详解

问题定义：本文旨在解决LLM在同行评审中可能存在的语言偏见问题，现有方法未能有效识别和控制这种偏见，导致评估结果的不可靠性。

核心思路：通过系统性地扰动论文的语言风格，特别是母语与非母语写作特征，以及自信与不自信的语言特征，来研究其对评审结果的影响。这样的设计旨在保持科学内容的完整性，同时揭示语言风格对评审的潜在影响。

技术框架：整体架构包括论文重写模块和评审评估模块。首先，利用LLM对论文进行重写，生成不同语言风格的版本；然后，使用不同的LLM评审这些版本，比较评审结果。

关键创新：本文的创新在于引入了控制实验框架，通过精细的重写指令来系统性地研究语言特征对评审结果的影响，这在现有研究中尚属首次。

关键设计：在重写过程中，采用了基于语言学文献的细致指令，确保不同风格的论文在科学内容上保持一致，同时对评审者的反馈进行定量分析。实验中使用的评审模型和评估标准也经过精心设计，以确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM评审者在评估过程中系统性地偏向于自信的修辞，导致科学内容的质量被忽视。这一发现对LLM在同行评审中的应用提出了重要警示，强调了需要改进评审标准和方法以确保评估的公正性。

🎯 应用场景

该研究的潜在应用领域包括学术出版、会议组织和同行评审流程的优化。通过识别和控制语言偏见，可以提高评审的公正性和科学性，从而提升学术交流的质量。未来，该研究可能推动更智能的评审工具的开发，促进学术界的透明度和信任度。

📄 摘要（原文）

The number of paper submissions to major AI conferences has increased dramatically in recent years, substantially increasing the peer-review workload of researchers. At the same time, large language models (LLMs) are increasingly used to support peer review, both by individual reviewers and by conference organizations. While LLM capabilities have improved considerably, their evaluations may be influenced by linguistic characteristics that are unrelated to scientific content. In this work, we introduce a controlled experimental framework for studying such effects by systematically perturbing the linguistic style of research papers. Specifically, we rewrite papers to exhibit (i) linguistic features associated with native or non-native English writing, and (ii) high- or low-confidence linguistic features. To construct these interventions, we derive fine-grained rewriting instructions grounded in the linguistic literature and apply them using LLMs. Crucially, our interventions are designed to preserve the underlying scientific content. We then evaluate the resulting papers using different LLM reviewers. Our experiments expose a critical vulnerability in LLM-based peer review: reviewers systematically reward confident rhetoric independent of scientific content, raising serious concerns about the robustness of their assessments.