Extracting Problem and Method Sentence from Scientific Papers: A Context-enhanced Transformer Using Formulaic Expression Desensitization

📄 arXiv: 2606.26481v1 📥 PDF

作者: Yingyi Zhang, Chengzhi Zhang

分类: cs.CL, cs.DL, cs.IR

发布日期: 2026-06-25

期刊: Scientometrics, 2024

DOI: 10.1007/s11192-024-05048-6

💡 一句话要点

提出基于公式表达去敏感化的上下文增强变换器以解决科学论文中的问题与方法提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 问题提取 方法提取 科学论文 数据增强 上下文增强变换器 公式表达去敏感化 机器学习 自然语言处理

📋 核心要点

  1. 现有方法在小规模数据集上训练，导致模型对特定形式的依赖性强，泛化能力不足。
  2. 提出公式表达去敏感化的合成数据生成方法，结合上下文增强变换器来提取问题和方法句子。
  3. 实验结果显示，所提模型在宏观F1分数上优于基线模型，且基于大语言模型的上下文学习方法不适合该任务。

📝 摘要（中文）

随着科学论文数量的激增，识别文本中的重要部分变得愈发重要。本文聚焦于从科学论文中提取问题和方法句子，提出了基于公式表达去敏感化的合成数据生成方法，并设计了上下文增强变换器以提高模型的泛化能力。实验结果表明，所提模型在两个科学论文数据集上相较于基线模型的宏观F1分数分别提升了3.71%和2.67%。

🔬 方法详解

问题定义：本文旨在解决从科学论文中提取问题和方法句子的挑战，现有方法因小规模数据集而导致模型对特定句式的依赖，限制了其泛化能力。

核心思路：提出公式表达去敏感化的概念，通过生成合成数据来扩展数据集规模，并设计上下文增强变换器来利用上下文信息，提高句子中词语的重要性评估，减少噪声影响。

技术框架：整体架构包括数据增强模块和上下文增强变换器。数据增强模块通过去敏感化技术生成合成数据，而上下文增强变换器则通过上下文信息优化句子处理。

关键创新：最重要的创新在于引入公式表达去敏感化的合成数据生成方法，显著降低模型对特定形式的依赖，同时提升了信息提取的准确性。

关键设计：在模型设计中，采用了特定的损失函数来平衡合成数据与真实数据的影响，并优化了变换器的网络结构以增强上下文信息的利用效率。

📊 实验亮点

实验结果显示，所提模型在两个科学论文数据集上的宏观F1分数分别提升了3.71%和2.67%，显著优于基线模型。此外，研究发现基于大语言模型的上下文学习方法并不适合该任务，提供了新的研究方向。

🎯 应用场景

该研究的潜在应用领域包括科学文献检索、自动化文献综述生成以及科研数据挖掘等。通过提高问题和方法句子的提取效率，能够帮助研究人员更快速地获取相关信息，提升科研效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Billions of scientific papers lead to the need to identify essential parts from the massive text. Scientific research is an activity from putting forward problems to using methods. To learn the main idea from scientific papers, we focus on extracting problem and method sentences. Annotating sentences within scientific papers is labor-intensive, resulting in small-scale datasets that limit the amount of information models can learn. This limited information leads models to rely heavily on specific forms, which in turn reduces their generalization capabilities. This paper addresses the problems caused by small-scale datasets from three perspectives: increasing dataset scale, reducing dependence on specific forms, and enriching the information within sentences. To implement the first two ideas, we introduce the concept of formulaic expression (FE) desensitization and propose FE desensitization-based data augmenters to generate synthetic data and reduce models' reliance on FEs. For the third idea, we propose a context-enhanced transformer that utilizes context to measure the importance of words in target sentences and to reduce noise in the context. Furthermore, this paper conducts experiments using large language model (LLM) based in-context learning (ICL) methods. Quantitative and qualitative experiments demonstrate that our proposed models achieve a higher macro F1 score compared to the baseline models on two scientific paper datasets, with improvements of 3.71% and 2.67%, respectively. The LLM based ICL methods are found to be not suitable for the task of problem and method extraction.