Is ChatGPT Transforming Academics' Writing Style?

📄 arXiv: 2404.08627v2 📥 PDF

作者: Mingmeng Geng, Roberto Trotta

分类: cs.CL, cs.AI, cs.DL, cs.LG

发布日期: 2024-04-12 (更新: 2024-11-08)

备注: 19 pages

💡 一句话要点

基于统计分析评估ChatGPT对学术写作风格的影响

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 学术写作 文本密度 统计分析 arXiv论文

📋 核心要点

  1. 现有研究缺乏对大型语言模型（LLMs）在学术写作中影响的系统评估，尤其是对文本密度的量化分析。
  2. 论文提出了一种基于统计分析的方法，通过对真实和模拟数据的混合模型进行校准，动态评估ChatGPT的写作风格。
  3. 研究发现，LLM风格的摘要在计算机科学领域的占比达到约35%，揭示了LLMs对学术写作的显著影响。

📝 摘要（中文）

本研究基于2018年5月至2024年1月提交的100万篇arXiv论文，通过对摘要文本密度的统计分析，评估了ChatGPT写作风格的变化。我们在真实摘要和ChatGPT修改摘要的混合数据上校准和验证了模型，并进行了噪声分析。结果显示，尤其在计算机科学领域，LLM风格的摘要占比约为35%。最后，论文分析了LLM在学术写作风格渗透中的正负面影响。

🔬 方法详解

问题定义：本研究旨在解决对大型语言模型（LLMs）在学术写作风格影响的量化评估问题。现有方法未能系统分析LLMs对文本密度的具体影响。

核心思路：通过对一百万篇arXiv论文的摘要进行统计分析，结合真实和ChatGPT修改的摘要，建立动态模型以评估写作风格的变化。

技术框架：整体流程包括数据收集、噪声分析、模型校准与验证，最终通过对比分析得出LLM风格摘要的占比。主要模块包括数据预处理、特征提取和模型评估。

关键创新：本研究的创新在于采用动态词频分析方法，能够适应文本中词汇频率的变化，较传统静态分析方法更具灵活性和准确性。

关键设计：模型设计中采用了自适应词汇选择机制，考虑了词频下降的情况，确保了对写作风格的准确捕捉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM风格的摘要在计算机科学领域的占比约为35%，这一结果基于对GPT-3.5的简单提示“修订以下句子”的响应，显示出LLMs在学术写作中的显著渗透。

🎯 应用场景

该研究的结果对学术界具有重要的实际价值，能够帮助研究人员理解LLMs对学术写作的影响，并为未来的写作风格研究提供数据支持。此外，研究结果也可能影响学术出版和评审过程，促使对LLMs使用的规范化。

📄 摘要（原文）

Based on one million arXiv papers submitted from May 2018 to January 2024, we assess the textual density of ChatGPT's writing style in their abstracts through a statistical analysis of word frequency changes. Our model is calibrated and validated on a mixture of real abstracts and ChatGPT-modified abstracts (simulated data) after a careful noise analysis. The words used for estimation are not fixed but adaptive, including those with decreasing frequency. We find that large language models (LLMs), represented by ChatGPT, are having an increasing impact on arXiv abstracts, especially in the field of computer science, where the fraction of LLM-style abstracts is estimated to be approximately 35%, if we take the responses of GPT-3.5 to one simple prompt, "revise the following sentences", as a baseline. We conclude with an analysis of both positive and negative aspects of the penetration of LLMs into academics' writing style.