MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference

📄 arXiv: 2404.08066v1 📥 PDF

作者: Mobashir Sadat, Cornelia Caragea

分类: cs.CL

发布日期: 2024-04-11

备注: Accepted to the NAACL 2024 Main Conference

💡 一句话要点

提出MSciNLI以解决科学自然语言推理的多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学自然语言推理 数据集构建 领域转移 预训练语言模型 大型语言模型 迁移学习 性能评估

📋 核心要点

  1. 现有的科学NLI方法主要集中在计算语言学领域，缺乏多样性，限制了模型的泛化能力。
  2. 本文提出MSciNLI数据集，涵盖五个科学领域，旨在研究领域转移对科学NLI的影响。
  3. 通过对PLMs和LLMs的微调，MSciNLI的基线表现分别达到了77.21%和51.77%的Macro F1分数，显示出其挑战性。

📝 摘要（中文）

科学自然语言推理（NLI）任务涉及预测来自研究文章的两个句子之间的语义关系。本文介绍了MSciNLI，一个包含132,320对句子的多样化数据集，涵盖五个新的科学领域。通过对预训练语言模型（PLMs）和大型语言模型（LLMs）的微调，建立了强基线，显示出MSciNLI对模型的挑战性。此外，研究表明领域转移会降低科学NLI模型的性能，展示了数据集中不同领域的多样特征。最后，利用科学NLI数据集进行迁移学习，提升了下游任务的表现。数据集和代码已在Github上公开。

🔬 方法详解

问题定义：本文旨在解决科学自然语言推理任务中的多样性不足问题，现有方法主要集中在特定领域，导致模型在其他领域的泛化能力较差。

核心思路：通过引入MSciNLI数据集，涵盖多个科学领域，研究领域转移对模型性能的影响，从而增强科学NLI任务的多样性和挑战性。

技术框架：整体架构包括数据集构建、模型微调和性能评估三个主要阶段。首先，从五个不同科学领域提取句子对，然后对预训练语言模型和大型语言模型进行微调，最后评估模型在MSciNLI上的表现。

关键创新：最重要的创新在于MSciNLI数据集的构建，提供了多领域的句子对，能够有效研究领域转移对科学NLI模型的影响，与现有单一领域数据集相比，具有更高的多样性和挑战性。

关键设计：在模型微调过程中，采用了标准的交叉熵损失函数，并对PLMs和LLMs进行了不同的超参数设置，以优化模型在多领域数据集上的表现。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，PLM基线的最高Macro F1分数为77.21%，而LLM基线为51.77%，表明MSciNLI对两种模型均具有挑战性。此外，领域转移显著降低了模型性能，验证了数据集的多样性特征。

🎯 应用场景

该研究的潜在应用领域包括科学文献的自动理解、信息提取和知识图谱构建等。通过提升科学NLI模型的性能，能够更好地支持科研人员在文献分析和知识获取方面的需求，未来可能对科学研究的自动化和智能化产生深远影响。

📄 摘要（原文）

The task of scientific Natural Language Inference (NLI) involves predicting the semantic relation between two sentences extracted from research articles. This task was recently proposed along with a new dataset called SciNLI derived from papers published in the computational linguistics domain. In this paper, we aim to introduce diversity in the scientific NLI task and present MSciNLI, a dataset containing 132,320 sentence pairs extracted from five new scientific domains. The availability of multiple domains makes it possible to study domain shift for scientific NLI. We establish strong baselines on MSciNLI by fine-tuning Pre-trained Language Models (PLMs) and prompting Large Language Models (LLMs). The highest Macro F1 scores of PLM and LLM baselines are 77.21% and 51.77%, respectively, illustrating that MSciNLI is challenging for both types of models. Furthermore, we show that domain shift degrades the performance of scientific NLI models which demonstrates the diverse characteristics of different domains in our dataset. Finally, we use both scientific NLI datasets in an intermediate task transfer learning setting and show that they can improve the performance of downstream tasks in the scientific domain. We make our dataset and code available on Github.