Identifying Reasons for Contraceptive Switching from Real-World Data Using Large Language Models

📄 arXiv: 2402.03597v1 📥 PDF

作者: Brenda Y. Miao, Christopher YK Williams, Ebenezer Chinedu-Eneh, Travis Zack, Emily Alsentzer, Atul J. Butte, Irene Y. Chen

分类: cs.CL, cs.IR, cs.LG

发布日期: 2024-02-06

🔗 代码/项目: GITHUB

💡 一句话要点

利用大型语言模型识别避孕药物更换原因

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 避孕药物 数据提取 临床笔记 零-shot学习 医疗数据分析

📋 核心要点

  1. 现有方法在提取避孕药物更换原因时面临挑战，尤其是从非结构化临床笔记中提取信息的困难。
  2. 本文提出利用大型语言模型GPT-4进行零-shot学习，以识别避孕药物更换的原因，提升提取的准确性。
  3. 实验结果表明，GPT-4在避孕药物开始和停止提取方面的微F1分数分别为0.849和0.881，显示出显著的性能提升。

📝 摘要（中文）

处方避孕药在支持女性生殖健康方面发挥着重要作用。美国近5000万女性使用避孕药，因此了解影响避孕药选择和更换的因素具有重要意义。然而，许多与药物更换相关的因素通常仅在非结构化的临床笔记中记录，提取难度较大。本文评估了新开发的大型语言模型GPT-4在识别避孕药物更换原因方面的零-shot 能力。研究表明，GPT-4能够准确提取避孕药更换原因，其微F1分数分别为0.849和0.881，超越了基于BERT的基线模型。人类评估显示，GPT-4提取的更换原因准确率为91.4%，且幻觉现象极少。通过提取的原因，我们识别出患者偏好、不良事件和保险是更换的关键原因，并发现“体重增加/情绪变化”和“保险覆盖”在特定人群中更为突出。代码和补充数据可在https://github.com/BMiao10/contraceptive-switching获取。

🔬 方法详解

问题定义：本文旨在解决从非结构化临床笔记中提取避孕药物更换原因的具体问题。现有方法在处理这些非结构化数据时效率低下，难以准确提取相关信息。

核心思路：论文的核心思路是利用大型语言模型GPT-4的零-shot能力，直接从临床笔记中提取避孕药物更换的原因，避免了传统方法的复杂性和局限性。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。首先，从UCSF信息共享临床笔记数据集中收集数据，然后使用GPT-4进行原因提取，最后通过人类评估和微F1分数进行性能评估。

关键创新：最重要的技术创新点在于使用GPT-4进行零-shot学习，显著提高了提取的准确性和效率，与传统基于BERT的方法相比，展现出更强的适应性和准确性。

关键设计：在模型设计中，采用了GPT-4的API接口，确保符合HIPAA标准，且在评估过程中设置了微F1分数作为主要性能指标，以便于与基线模型进行对比。

📊 实验亮点

实验结果显示，GPT-4在避孕药物开始和停止提取方面的微F1分数分别为0.849和0.881，超越了基于BERT的基线模型。人类评估结果表明，GPT-4提取的更换原因准确率高达91.4%，且幻觉现象极少，显示出该方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、个性化医疗和公共卫生政策制定。通过准确识别避孕药物更换原因，可以帮助医疗提供者更好地理解患者需求，从而优化治疗方案，提升女性健康管理的效果。未来，该方法也可扩展至其他药物的使用模式分析。

📄 摘要（原文）

Prescription contraceptives play a critical role in supporting women's reproductive health. With nearly 50 million women in the United States using contraceptives, understanding the factors that drive contraceptives selection and switching is of significant interest. However, many factors related to medication switching are often only captured in unstructured clinical notes and can be difficult to extract. Here, we evaluate the zero-shot abilities of a recently developed large language model, GPT-4 (via HIPAA-compliant Microsoft Azure API), to identify reasons for switching between classes of contraceptives from the UCSF Information Commons clinical notes dataset. We demonstrate that GPT-4 can accurately extract reasons for contraceptive switching, outperforming baseline BERT-based models with microF1 scores of 0.849 and 0.881 for contraceptive start and stop extraction, respectively. Human evaluation of GPT-4-extracted reasons for switching showed 91.4% accuracy, with minimal hallucinations. Using extracted reasons, we identified patient preference, adverse events, and insurance as key reasons for switching using unsupervised topic modeling approaches. Notably, we also showed using our approach that "weight gain/mood change" and "insurance coverage" are disproportionately found as reasons for contraceptive switching in specific demographic populations. Our code and supplemental data are available at https://github.com/BMiao10/contraceptive-switching.