Enhancing chest X-ray datasets with privacy-preserving large language models and multi-type annotations: a data-driven approach for improved classification

📄 arXiv: 2403.04024v2 📥 PDF

作者: Ricardo Bigolin Lanfredi, Pritam Mukherjee, Ronald Summers

分类: eess.IV, cs.CV

发布日期: 2024-03-06 (更新: 2024-08-15)

备注: Code and data: https://github.com/rsummers11/CADLab/tree/master/MAPLEZ_LLM_report_labeler/

DOI: 10.1016/j.media.2024.103383

💡 一句话要点

提出MAPLEZ以解决胸部X光报告标签质量不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胸部X光 标签提取 大型语言模型 深度学习 医学影像分析 多类型注释 模型优化

📋 核心要点

  1. 现有的标签提取方法主要依赖规则系统，输出的标签质量有限，无法满足深度学习模型的需求。
  2. 本文提出MAPLEZ，通过大型语言模型提取更丰富的标签信息，包括发现的存在性、位置和严重程度等。
  3. 实验结果表明，MAPLEZ在多个测试集上显著提高了标签提取的准确性，并提升了模型的分类性能。

📝 摘要（中文）

在胸部X光图像分析中，现有的基于规则的系统在提取报告标签时存在局限性，通常只能输出存在性标签。本文提出了一种新的方法MAPLEZ，利用本地可执行的大型语言模型（LLM）来提取和增强胸部X光报告中的发现标签。该方法不仅提取二元标签，还包括发现的位置、严重程度及放射科医生的不确定性。实验结果显示，与现有标签提取方法相比，MAPLEZ在类别存在性标签的宏F1分数上提高了3.6个百分点，在位置标签的F1分数上提高了超过20个百分点，并在模型质量上实现了显著提升。

🔬 方法详解

问题定义：本文旨在解决胸部X光报告中标签质量不足的问题。现有方法通常只能提供简单的存在性标签，缺乏对发现的详细描述和不确定性评估。

核心思路：MAPLEZ利用大型语言模型提取更全面的标签信息，包括发现的存在性、位置、严重程度及放射科医生的不确定性，从而提升标签的质量和实用性。

技术框架：该方法的整体架构包括数据输入、标签提取和多类型注释生成三个主要模块。首先，输入胸部X光报告，然后通过LLM提取相关信息，最后生成多类型的注释用于分类监督。

关键创新：MAPLEZ的核心创新在于结合了隐私保护的大型语言模型与多类型注释生成，能够提取更丰富的标签信息，与传统的规则系统和监督学习模型相比，提供了更高的灵活性和准确性。

关键设计：在模型设计中，采用了特定的损失函数来优化标签提取的准确性，并在网络结构上进行了调整，以适应多类型标签的生成需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MAPLEZ在八种异常的标签提取中，类别存在性标签的宏F1分数提高了3.6个百分点，位置标签的F1分数提高了超过20个百分点。此外，结合改进的注释和多类型注释进行分类监督，模型的AUROC提高了1.1个百分点，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动化报告生成和智能诊断系统。通过提升胸部X光报告的标签质量，MAPLEZ能够为临床决策提供更可靠的支持，进而改善患者的诊断和治疗效果。未来，该方法还可能扩展到其他类型的医学影像分析中。

📄 摘要（原文）

In chest X-ray (CXR) image analysis, rule-based systems are usually employed to extract labels from reports for dataset releases. However, there is still room for improvement in label quality. These labelers typically output only presence labels, sometimes with binary uncertainty indicators, which limits their usefulness. Supervised deep learning models have also been developed for report labeling but lack adaptability, similar to rule-based systems. In this work, we present MAPLEZ (Medical report Annotations with Privacy-preserving Large language model using Expeditious Zero shot answers), a novel approach leveraging a locally executable Large Language Model (LLM) to extract and enhance findings labels on CXR reports. MAPLEZ extracts not only binary labels indicating the presence or absence of a finding but also the location, severity, and radiologists' uncertainty about the finding. Over eight abnormalities from five test sets, we show that our method can extract these annotations with an increase of 3.6 percentage points (pp) in macro F1 score for categorical presence annotations and more than 20 pp increase in F1 score for the location annotations over competing labelers. Additionally, using the combination of improved annotations and multi-type annotations in classification supervision, we demonstrate substantial advancements in model quality, with an increase of 1.1 pp in AUROC over models trained with annotations from the best alternative approach. We share code and annotations.