A Human-in-the-Loop Corpus for LLM-Based Simplification of Scientific Summaries

📄 arXiv: 2607.25630v1 📥 PDF

作者: Kyuri Im, Michael Färber

分类: cs.CL, cs.AI, cs.HC

发布日期: 2026-07-28

备注: Accepted at FGWM@KI2026

💡 一句话要点

提出人机协作语料库以简化科学摘要

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学文本简化 人机协作 大型语言模型 跨学科交流 专家反馈

📋 核心要点

  1. 科学论文在跨学科研究中难以理解，现有简化方法效果有限。
  2. 提出人机协作的工作流程，通过专家反馈优化科学文本的简化版本。
  3. 实验结果显示GPT生成的摘要在可理解性和简洁性上优于原文，且专家编辑的版本进一步提升了质量。

📝 摘要（中文）

跨学科研究正在加速，但科学论文在其本领域之外仍然难以理解。本文研究基于大型语言模型（LLM）的科学文本简化，提出了一种人机协作的工作流程，将专家摘要转化为更易于非专业人士理解的版本。使用SciSummNet作为源语料库，首先利用GPT-4o-mini生成基线简化。在第一阶段，来自STEM领域的读者识别难懂的句子和短语，并比较原始和GPT简化摘要的可理解性、自然性和简洁性。在第二阶段，计算机科学专家利用反馈创建专家编辑的参考简化。最终发布的语料库包含人类评判和自动评估结果，第一阶段的评判显示GPT生成的摘要在可理解性和简洁性方面明显优于原文，而第二阶段的定性分析强调了保留领域特定术语和科学主张的重要性。该资源支持跨学科科学交流的简化系统训练和基准测试。

🔬 方法详解

问题定义：本文旨在解决科学论文在跨学科领域的可理解性问题，现有的简化方法往往无法有效传达复杂的科学内容，导致非专业人士难以理解。

核心思路：通过人机协作的方式，结合大型语言模型（LLM）和专家反馈，优化科学摘要的简化过程，使其更易于非专业人士理解。

技术框架：整体流程分为两个阶段：第一阶段由STEM领域的读者识别难懂的内容并进行评估；第二阶段由计算机科学专家根据反馈进行编辑，生成参考简化版本。

关键创新：本研究的创新点在于引入人机协作的模式，利用专家的反馈来提升模型生成的文本质量，这在现有的简化方法中较为少见。

关键设计：在模型选择上使用GPT-4o-mini，评估标准包括可理解性、自然性和简洁性，确保生成的文本既符合科学表达又易于理解。通过专家编辑进一步优化文本，保留领域特定术语和科学主张。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，第一阶段的评判表明，GPT生成的摘要在可理解性和简洁性方面明显优于原文，且在第二阶段的专家编辑中，强调了保留领域特定术语的重要性，进一步提升了文本质量。

🎯 应用场景

该研究的潜在应用领域包括教育、科学传播和跨学科研究，能够帮助非专业人士更好地理解复杂的科学内容，促进科学知识的普及与交流。未来，随着模型和方法的不断优化，该系统有望在更多领域得到应用，提升科学交流的效率与效果。

📄 摘要（原文）

Interdisciplinary research is accelerating, yet scientific papers remain difficult to understand outside their home fields. We study large language model (LLM)-based simplification of scientific texts and present a human-in-the-loop workflow that transforms expert summaries into more accessible versions for non-specialists. Using SciSummNet as the source corpus, we first generate baseline simplifications with GPT-4o-mini. In Phase 1, readers from STEM fields outside computer science identify difficult sentences and phrases and compare the original and GPT-simplified summaries in terms of comprehensibility, naturalness, and simplicity. In Phase 2, computer science experts use this feedback to create expert-edited reference simplifications. We release the resulting corpus together with human judgments and automatic evaluation results. The Phase 1 judgments show a clear preference for the GPT-generated summaries in terms of comprehensibility and simplicity, while qualitative analysis of the Phase 2 edits highlights the importance of preserving domain-specific terminology and the strength of scientific claims. The resulting resource supports the training and benchmarking of simplification systems for cross-disciplinary scientific communication.