Perceptions and Detection of AI Use in Manuscript Preparation for Academic Journals
作者: Nir Chemaya, Daniel Martin
分类: cs.CY, cs.AI, econ.GN
发布日期: 2023-11-19 (更新: 2024-01-30)
💡 一句话要点
探讨学术期刊手稿准备中AI使用的感知与检测
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人工智能 学术写作 大型语言模型 透明度 检测工具 学术诚信 问卷调查
📋 核心要点
- 现有方法在学术写作中对AI使用的透明度不足，导致学者对AI工具的使用态度不一。
- 论文提出通过调查学者对AI使用的看法，探索是否需要在手稿中披露AI工具的使用情况。
- 研究结果表明，学者对AI使用的报告存在分歧，且检测工具对AI生成内容的反应尚不明确。
📝 摘要（中文）
大型语言模型（LLMs）如ChatGPT和Bard的出现，引发了对AI在学术写作中影响的关注与担忧。面对日益增长的AI使用担忧，学术出版作者可能会自愿披露所使用的AI工具，期刊和会议也可能开始要求披露或使用检测服务。本文研究了学者们是否认为在手稿准备中报告AI使用是必要的，以及检测工具如何对AI在学术写作中的使用做出反应。
🔬 方法详解
问题定义：本文旨在解决学术写作中AI使用的透明性问题，现有方法未能有效评估学者对AI工具使用的态度与检测工具的反应。
核心思路：通过对学者进行调查，分析他们对在手稿中披露AI使用的必要性看法，并评估检测工具的有效性。
技术框架：研究采用定量与定性相结合的方法，首先进行问卷调查收集学者意见，然后分析检测工具对AI生成内容的识别能力。
关键创新：本研究首次系统性地探讨了学术界对AI工具使用的态度及其检测的必要性，填补了相关领域的研究空白。
关键设计：问卷设计涵盖了对AI使用的看法、报告意愿及对检测工具有效性的评估，确保数据的全面性与代表性。
🖼️ 关键图片
📊 实验亮点
研究发现，虽然部分学者认为在手稿中披露AI使用是必要的，但也有相当比例的学者对此持保留态度。此外，检测工具在识别AI生成内容方面的有效性仍需进一步验证，显示出当前技术的局限性。
🎯 应用场景
该研究的潜在应用领域包括学术出版、教育评估和AI工具开发。通过提高对AI使用的透明度，能够促进学术诚信，帮助期刊和会议制定相关政策，提升学术写作的质量与可信度。
📄 摘要（原文）
The emergent abilities of Large Language Models (LLMs), which power tools like ChatGPT and Bard, have produced both excitement and worry about how AI will impact academic writing. In response to rising concerns about AI use, authors of academic publications may decide to voluntarily disclose any AI tools they use to revise their manuscripts, and journals and conferences could begin mandating disclosure and/or turn to using detection services, as many teachers have done with student writing in class settings. Given these looming possibilities, we investigate whether academics view it as necessary to report AI use in manuscript preparation and how detectors react to the use of AI in academic writing.