A comparative study of zero-shot inference with large language models and supervised modeling in breast cancer pathology classification

📄 arXiv: 2401.13887v1 📥 PDF

作者: Madhumita Sushil, Travis Zack, Divneet Mandair, Zhiwei Zheng, Ahmed Wali, Yan-Ning Yu, Yuwei Quan, Atul J. Butte

分类: cs.CL, cs.LG

发布日期: 2024-01-25

💡 一句话要点

比较大型语言模型与监督学习在乳腺癌病理分类中的零-shot推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 零-shot学习 乳腺癌病理 自然语言处理 监督学习 数据标注 临床研究

📋 核心要点

  1. 现有的监督学习方法在乳腺癌病理分类中依赖于大量标注数据，创建这些数据集既耗时又需要专业知识。
  2. 本文提出利用大型语言模型（LLMs）进行零-shot分类，以减少对大规模标注数据集的需求，探索其在病理分类中的应用潜力。
  3. 实验结果表明，GPT-4模型在多项任务中表现优于传统的监督学习模型，尤其在标签不平衡的情况下，显示出显著的性能提升。

📝 摘要（中文）

尽管监督机器学习在临床笔记的信息提取中广受欢迎，但创建大型标注数据集需要大量的领域专业知识且耗时。本文探讨了大型语言模型（LLMs）是否能够减少对大规模数据标注的需求。研究中，我们手动标注了769份乳腺癌病理报告，并将其分为13类，以比较GPT-4和GPT-3.5模型的零-shot分类能力与随机森林、长短期记忆网络（LSTM-Att）和UCSF-BERT模型的监督分类性能。结果显示，GPT-4在所有任务中表现优于或与最佳监督模型LSTM-Att相当（平均宏F1分数为0.83对0.75）。在标签不平衡的任务中，差异更加显著。GPT-4的错误主要来源于多样本推理和复杂任务设计。LLMs在复杂任务中能够减轻大规模数据标注的负担，未来可能加速临床NLP研究的执行。

🔬 方法详解

问题定义：本文旨在解决乳腺癌病理分类中对大规模标注数据集的依赖问题。现有的监督学习方法需要大量的时间和专业知识来创建标注数据集，限制了其应用的广泛性。

核心思路：通过比较大型语言模型（如GPT-4和GPT-3.5）与传统监督学习模型的性能，探讨LLMs在零-shot分类中的有效性，以期减少对标注数据的需求。

技术框架：研究中使用了769份手动标注的乳腺癌病理报告，分为13类。比较了GPT-4和GPT-3.5的零-shot分类能力与随机森林、LSTM-Att和UCSF-BERT等监督模型的性能。

关键创新：最重要的创新在于展示了大型语言模型在缺乏大规模标注数据的情况下，仍能实现与传统监督模型相当甚至更好的分类性能，尤其是在标签不平衡的任务中。

关键设计：实验中采用了宏F1分数作为性能评估指标，GPT-4模型的平均宏F1分数为0.83，相较于LSTM-Att模型的0.75有显著提升。

📊 实验亮点

实验结果显示，GPT-4模型在所有13个任务中表现出色，平均宏F1分数为0.83，显著高于LSTM-Att模型的0.75。在标签不平衡的任务中，GPT-4的优势更加明显，表明其在复杂任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括临床病理学、医疗信息提取和自然语言处理（NLP）研究。通过减少对大规模标注数据集的需求，LLMs可能加速临床研究的执行，提高NLP变量和结果在观察性临床研究中的应用频率，推动医学研究的进步。

📄 摘要（原文）

Although supervised machine learning is popular for information extraction from clinical notes, creating large annotated datasets requires extensive domain expertise and is time-consuming. Meanwhile, large language models (LLMs) have demonstrated promising transfer learning capability. In this study, we explored whether recent LLMs can reduce the need for large-scale data annotations. We curated a manually-labeled dataset of 769 breast cancer pathology reports, labeled with 13 categories, to compare zero-shot classification capability of the GPT-4 model and the GPT-3.5 model with supervised classification performance of three model architectures: random forests classifier, long short-term memory networks with attention (LSTM-Att), and the UCSF-BERT model. Across all 13 tasks, the GPT-4 model performed either significantly better than or as well as the best supervised model, the LSTM-Att model (average macro F1 score of 0.83 vs. 0.75). On tasks with high imbalance between labels, the differences were more prominent. Frequent sources of GPT-4 errors included inferences from multiple samples and complex task design. On complex tasks where large annotated datasets cannot be easily collected, LLMs can reduce the burden of large-scale data labeling. However, if the use of LLMs is prohibitive, the use of simpler supervised models with large annotated datasets can provide comparable results. LLMs demonstrated the potential to speed up the execution of clinical NLP studies by reducing the need for curating large annotated datasets. This may result in an increase in the utilization of NLP-based variables and outcomes in observational clinical studies.