Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews
作者: Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A. McFarland, James Y. Zou
分类: cs.CL, cs.AI, cs.LG, cs.SI
发布日期: 2024-03-11 (更新: 2026-05-19)
备注: 46 pages, 31 figures, ICML '24
💡 一句话要点
提出一种方法评估AI生成内容在学术评审中的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI生成内容 同行评审 文本分析 最大似然估计 用户行为 学术研究 信息透明度
📋 核心要点
- 现有方法在评估AI生成内容的影响时缺乏系统性，难以量化其在学术评审中的实际应用情况。
- 本文提出的最大似然模型通过结合专家和AI生成的参考文本，提供了一种有效的评估方法，能够在语料库层面分析LLM的使用。
- 研究结果表明，提交的评审文本中有显著比例可能受到LLM的影响，且这种影响与评审者的信心和提交时间密切相关。
📝 摘要（中文）
本文提出了一种方法，用于估计大规模文本语料中可能被大型语言模型（LLM）显著修改或生成的文本比例。该最大似然模型利用专家撰写和AI生成的参考文本，准确高效地分析真实世界中LLM的使用情况。通过对ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023等AI会议的同行评审进行案例研究，结果显示提交的评审文本中有6.5%至16.9%可能被LLM显著修改。生成文本的出现情况提供了用户行为的洞察，生成文本的比例在信心较低、临近截止日期提交的评审中更高，并且来自于不太可能回应作者反驳的评审者。我们还观察到在个体层面可能难以检测的生成文本的语料级趋势，并讨论了这些趋势对同行评审的影响。我们呼吁未来的跨学科研究，探讨LLM使用如何改变我们的信息和知识实践。
🔬 方法详解
问题定义：本文旨在解决如何准确评估大规模文本中AI生成内容的比例这一具体问题。现有方法在量化AI生成文本的影响时存在不足，难以捕捉到细微的变化和趋势。
核心思路：论文的核心思路是利用最大似然估计，通过对比专家撰写和AI生成的参考文本，来识别和量化LLM生成内容的比例。这种设计能够有效捕捉文本的变化，提供更准确的评估。
技术框架：整体架构包括数据收集、文本分类和模型训练三个主要模块。首先收集相关的评审文本，然后通过模型分析文本特征，最后输出生成文本的比例和相关洞察。
关键创新：最重要的技术创新点在于结合了专家和AI生成文本的参考，形成了一种新的评估框架。这与现有方法的本质区别在于其系统性和准确性，能够在语料库层面提供更全面的分析。
关键设计：在模型设计中，采用了最大似然估计作为损失函数，并通过多层神经网络结构来提高文本分类的准确性。同时，模型参数的设置经过精心调优，以确保在不同类型文本中的适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023等会议中，提交的评审文本中有6.5%至16.9%可能被LLM显著修改。特别是在信心较低和临近截止日期提交的评审中，生成文本的比例更高，这为理解用户行为提供了重要线索。
🎯 应用场景
该研究的潜在应用领域包括学术评审、内容审核和信息验证等。通过提供对AI生成内容的量化评估，能够帮助学术界和行业更好地理解和管理AI技术的影响，促进信息的透明度和可信度。未来，这种方法可能会在其他领域的内容生成和审核中得到广泛应用。
📄 摘要（原文）
We present an approach for estimating the fraction of text in a large corpus which is likely to be substantially modified or produced by a large language model (LLM). Our maximum likelihood model leverages expert-written and AI-generated reference texts to accurately and efficiently examine real-world LLM-use at the corpus level. We apply this approach to a case study of scientific peer review in AI conferences that took place after the release of ChatGPT: ICLR 2024, NeurIPS 2023, CoRL 2023 and EMNLP 2023. Our results suggest that between 6.5% and 16.9% of text submitted as peer reviews to these conferences could have been substantially modified by LLMs, i.e. beyond spell-checking or minor writing updates. The circumstances in which generated text occurs offer insight into user behavior: the estimated fraction of LLM-generated text is higher in reviews which report lower confidence, were submitted close to the deadline, and from reviewers who are less likely to respond to author rebuttals. We also observe corpus-level trends in generated text which may be too subtle to detect at the individual level, and discuss the implications of such trends on peer review. We call for future interdisciplinary work to examine how LLM use is changing our information and knowledge practices.