Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4

📄 arXiv: 2404.00484v1 📥 PDF

作者: Aryo Pradipta Gema, Giwon Hong, Pasquale Minervini, Luke Daines, Beatrice Alex

分类: cs.CL

发布日期: 2024-03-30

💡 一句话要点

提出PEFT方法提升临床试验报告的自然语言推理性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言推理 临床试验 大型语言模型 参数高效微调 模型评估

📋 核心要点

  1. 现有的自然语言推理系统在处理临床试验报告时，准确性和一致性存在不足，尤其是在假设与证据之间的关系判断上。
  2. 论文提出了一种新的参数高效微调（PEFT）方法，通过合并不同目标微调的适配器，旨在提升大型语言模型的推理一致性。
  3. 实验结果表明，合并适配器后，模型的F1分数提升了0.0346，一致性提升了0.152，但仍未超越GPT-4的性能。

📝 摘要（中文）

NLI4CT任务评估自然语言推理系统在临床试验报告中预测假设是否包含或与证据相矛盾的能力。本研究评估了多种大型语言模型（LLMs）及其多种策略，包括思维链、上下文学习和参数高效微调（PEFT）。我们提出了一种PEFT方法，通过合并分别使用三元组和语言建模目标微调的适配器，来提高LLMs的一致性。结果显示，合并后的PEFT适配器在F1分数上提升了0.0346，一致性提升了0.152。然而，我们的新方法在准确性方面未能超越GPT-4。最终，GPT-4在比赛中以0.8328的平均分排名并列第一。我们的污染分析表明，没有测试数据泄露。

🔬 方法详解

问题定义：本研究旨在解决现有自然语言推理系统在临床试验报告中对假设与证据关系判断的准确性和一致性不足的问题。现有方法在处理复杂的临床数据时，往往无法有效捕捉语义关系，导致推理结果不够可靠。

核心思路：论文提出了一种新的参数高效微调（PEFT）方法，通过合并分别使用三元组和语言建模目标微调的适配器，以提高大型语言模型在推理任务中的一致性和性能。这种设计旨在充分利用不同微调目标的优势，增强模型的推理能力。

技术框架：整体架构包括数据预处理、适配器微调和模型评估三个主要模块。首先，对临床试验报告进行预处理，然后分别对适配器进行微调，最后将合并后的适配器应用于模型进行推理任务的评估。

关键创新：最重要的技术创新点在于提出了合并适配器的PEFT方法，这与传统的单一目标微调方法有本质区别。通过结合不同的微调目标，模型能够在推理任务中表现出更好的一致性和性能。

关键设计：在参数设置上，采用了适配器的组合策略，损失函数则结合了三元组损失和语言建模损失，以确保模型在推理时能够有效捕捉语义信息。网络结构上，适配器的设计允许在不显著增加计算负担的情况下，提升模型的推理能力。

📊 实验亮点

实验结果显示，合并后的PEFT适配器在F1分数上提升了0.0346，一致性提升了0.152，尽管未能超越GPT-4的性能，但在多个评估指标上表现出色。GPT-4在比赛中以0.8328的平均分并列第一，显示出其在自然语言推理任务中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括医疗文本分析、临床决策支持系统和智能医疗助手等。通过提升自然语言推理系统的性能，可以帮助医生更准确地理解临床试验结果，从而改善患者的治疗方案和医疗决策。未来，该方法有望在更广泛的医疗和健康领域中得到应用，推动智能医疗的发展。

📄 摘要（原文）

The NLI4CT task assesses Natural Language Inference systems in predicting whether hypotheses entail or contradict evidence from Clinical Trial Reports. In this study, we evaluate various Large Language Models (LLMs) with multiple strategies, including Chain-of-Thought, In-Context Learning, and Parameter-Efficient Fine-Tuning (PEFT). We propose a PEFT method to improve the consistency of LLMs by merging adapters that were fine-tuned separately using triplet and language modelling objectives. We found that merging the two PEFT adapters improves the F1 score (+0.0346) and consistency (+0.152) of the LLMs. However, our novel methods did not produce more accurate results than GPT-4 in terms of faithfulness and consistency. Averaging the three metrics, GPT-4 ranks joint-first in the competition with 0.8328. Finally, our contamination analysis with GPT-4 indicates that there was no test data leakage.