Assertion Detection Large Language Model In-context Learning LoRA Fine-tuning

📄 arXiv: 2401.17602v1 📥 PDF

作者: Yuelyu Ji, Zeshui Yu, Yanshan Wang

分类: cs.CL

发布日期: 2024-01-31

💡 一句话要点

提出基于大语言模型的断言检测方法以解决临床文本分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 断言检测 大语言模型 临床文本分析 自然语言处理 机器学习 推理技术 医疗数据 LoRA微调

📋 核心要点

  1. 现有的断言检测方法依赖于手动规则和传统模型，容易忽视不常见的断言类型，导致对临床文本的理解不完整。
  2. 本文提出了一种基于大语言模型的断言检测新方法，结合了Tree of Thought、Chain of Thought和Self-Consistency等推理技术，并通过LoRA进行微调。
  3. 在i2b2 2010数据集上，本文方法的微平均F-1值达到0.89，较之前方法提高了0.11，同时在睡眠概念提取的本地数据集上也取得了0.74的F-1值，提升幅度为0.31。

📝 摘要（中文）

本研究旨在解决从临床笔记中提取医疗概念时的断言检测任务，这是临床自然语言处理中的关键过程。断言检测涉及识别临床文本中医疗概念的断言类型，包括确定性、时间性和经历者。这些断言类型对于医疗专业人员快速理解医疗状况的背景至关重要。传统方法，如基于规则的NLP系统和机器学习模型，通常需要大量手动努力，并且容易忽视不常见的断言类型。为此，本文提出了一种新方法，利用在大量医疗数据上预训练的大语言模型进行断言检测，并结合了先进的推理技术和低秩适应（LoRA）微调。实验结果显示，该方法在i2b2 2010断言数据集上取得了0.89的微平均F-1值，相较于之前的方法提高了0.11。

🔬 方法详解

问题定义：本研究解决的是在临床文本中提取医疗概念时的断言检测问题。现有方法主要依赖于手动规则和传统机器学习模型，存在模式创建劳动强度大、对不常见断言类型的忽视等痛点。

核心思路：本文的核心思路是利用在大规模医疗数据上预训练的大语言模型进行断言检测，结合先进的推理技术来提升模型的理解能力和准确性。通过LoRA微调，进一步优化模型性能。

技术框架：整体框架包括数据预处理、模型选择、推理技术应用和模型微调四个主要模块。首先对临床文本进行预处理，然后选择适合的预训练大语言模型，接着应用推理技术，最后进行LoRA微调以提升模型的适应性。

关键创新：本文的主要创新在于将大语言模型与多种推理技术结合，尤其是Tree of Thought和Chain of Thought等方法，这些创新使得模型在断言检测任务中表现出更强的推理能力和准确性。

关键设计：在模型设计中，采用了低秩适应（LoRA）技术进行微调，设置了合适的学习率和损失函数，以确保模型在不同数据集上的泛化能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，本文方法在i2b2 2010断言数据集上取得了0.89的微平均F-1值，相较于之前的工作提高了0.11。此外，在针对睡眠概念提取的本地数据集上，F-1值达到0.74，提升幅度为0.31，表明该方法具有良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括医疗文本分析、电子病历处理和临床决策支持系统。通过提高断言检测的准确性，可以帮助医疗专业人员更快地理解患者的医疗状况，从而改善患者护理质量和结果。未来，该方法还可以扩展到其他领域的文本分析任务中。

📄 摘要（原文）

In this study, we aim to address the task of assertion detection when extracting medical concepts from clinical notes, a key process in clinical natural language processing (NLP). Assertion detection in clinical NLP usually involves identifying assertion types for medical concepts in the clinical text, namely certainty (whether the medical concept is positive, negated, possible, or hypothetical), temporality (whether the medical concept is for present or the past history), and experiencer (whether the medical concept is described for the patient or a family member). These assertion types are essential for healthcare professionals to quickly and clearly understand the context of medical conditions from unstructured clinical texts, directly influencing the quality and outcomes of patient care. Although widely used, traditional methods, particularly rule-based NLP systems and machine learning or deep learning models, demand intensive manual efforts to create patterns and tend to overlook less common assertion types, leading to an incomplete understanding of the context. To address this challenge, our research introduces a novel methodology that utilizes Large Language Models (LLMs) pre-trained on a vast array of medical data for assertion detection. We enhanced the current method with advanced reasoning techniques, including Tree of Thought (ToT), Chain of Thought (CoT), and Self-Consistency (SC), and refine it further with Low-Rank Adaptation (LoRA) fine-tuning. We first evaluated the model on the i2b2 2010 assertion dataset. Our method achieved a micro-averaged F-1 of 0.89, with 0.11 improvements over the previous works. To further assess the generalizability of our approach, we extended our evaluation to a local dataset that focused on sleep concept extraction. Our approach achieved an F-1 of 0.74, which is 0.31 higher than the previous method.