Improving Generalizability of Extracting Social Determinants of Health Using Large Language Models through Prompt-tuning

📄 arXiv: 2403.12374v1 📥 PDF

作者: Cheng Peng, Zehao Yu, Kaleb E Smith, Wei-Hsuan Lo-Ciganic, Jiang Bian, Yonghui Wu

分类: cs.CL

发布日期: 2024-03-19

💡 一句话要点

通过软提示调优提升大语言模型在健康社会决定因素提取中的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 健康社会决定因素 自然语言处理 提示调优 跨领域应用 转移学习 临床数据提取

📋 核心要点

  1. 现有基于微调策略的方法在跨领域应用中转移学习能力有限，导致提取健康社会决定因素的效果不佳。
  2. 本研究提出了一种软提示调优的方法，通过引入可训练的提示来引导大语言模型生成更准确的输出。
  3. 实验结果显示，经过提示调优的GatorTronGPT在两个数据集上均表现优于传统微调方法，提升幅度显著。

📝 摘要（中文）

自然语言处理领域的大语言模型（LLMs）在临床叙述中提取患者信息方面取得了显著进展。然而，基于微调策略的方法在跨领域应用中转移学习能力有限。本研究提出了一种新颖的方法，采用软提示学习架构，引入可训练的提示以引导LLMs生成所需输出。我们考察了两种LLM架构，包括仅编码的GatorTron和仅解码的GatorTronGPT，并评估其在2022 n2c2挑战赛的跨机构数据集和佛罗里达大学健康中心的跨疾病数据集上的表现。结果表明，经过提示调优的仅解码LLMs在跨领域应用中表现更佳，GatorTronGPT在两个数据集上均取得了最佳F1分数，分别比传统微调的GatorTron提高了8.9%和21.8%（跨机构设置），以及5.5%和14.5%（跨疾病设置）。

🔬 方法详解

问题定义：本研究旨在解决现有微调策略在跨领域应用中转移学习能力不足的问题，特别是在提取健康社会决定因素时的效果不理想。

核心思路：论文提出了一种软提示调优的方法，通过引入可训练的提示来指导大语言模型生成所需的输出，从而提升模型的泛化能力。

技术框架：整体架构包括两个主要模块：一是仅编码的GatorTron，二是仅解码的GatorTronGPT。通过对这两种架构进行提示调优，评估其在不同数据集上的表现。

关键创新：最重要的技术创新在于引入了软提示机制，使得模型能够在不同领域之间更好地迁移学习，显著提升了提取任务的准确性。

关键设计：在模型设计中，采用了可训练的提示参数，优化了损失函数以适应跨领域数据集的特性，确保模型在不同任务中的表现均衡。

📊 实验亮点

实验结果显示，经过提示调优的GatorTronGPT在两个数据集上均取得了最佳F1分数，分别比传统微调的GatorTron提高了8.9%和21.8%（跨机构设置），以及5.5%和14.5%（跨疾病设置），展示了其在跨领域应用中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括医疗健康数据分析、临床决策支持系统以及公共卫生研究。通过提升大语言模型在提取健康社会决定因素方面的能力，可以更好地支持医疗工作者进行患者管理和健康干预，具有重要的实际价值和社会影响。

📄 摘要（原文）

The progress in natural language processing (NLP) using large language models (LLMs) has greatly improved patient information extraction from clinical narratives. However, most methods based on the fine-tuning strategy have limited transfer learning ability for cross-domain applications. This study proposed a novel approach that employs a soft prompt-based learning architecture, which introduces trainable prompts to guide LLMs toward desired outputs. We examined two types of LLM architectures, including encoder-only GatorTron and decoder-only GatorTronGPT, and evaluated their performance for the extraction of social determinants of health (SDoH) using a cross-institution dataset from the 2022 n2c2 challenge and a cross-disease dataset from the University of Florida (UF) Health. The results show that decoder-only LLMs with prompt tuning achieved better performance in cross-domain applications. GatorTronGPT achieved the best F1 scores for both datasets, outperforming traditional fine-tuned GatorTron by 8.9% and 21.8% in a cross-institution setting, and 5.5% and 14.5% in a cross-disease setting.