General-Purpose vs. Domain-Adapted Large Language Models for Extraction of Structured Data from Chest Radiology Reports

📄 arXiv: 2311.17213v3 📥 PDF

作者: Ali H. Dhanaliwala, Rikhiya Ghosh, Sanjeev Kumar Karn, Poikavila Ullaskrishnan, Oladimeji Farri, Dorin Comaniciu, Charles E. Kahn

分类: cs.CL, eess.IV

发布日期: 2023-11-28 (更新: 2024-04-09)

💡 一句话要点

提出RadLing以提高胸部放射报告结构化数据提取的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射科 结构化数据提取 领域适应 语言模型 医疗信息系统 特征提取 CDE映射 深度学习

📋 核心要点

  1. 现有方法在提取胸部放射报告中的结构化数据时，面临风格多样性和准确性不足的挑战。
  2. 论文提出了一种领域适应的语言模型RadLing，通过优化嵌入和轻量级映射器来提高特征提取和数据映射的准确性。
  3. 实验结果表明，RadLing在特征提取和CDE映射的F1分数上均显著优于GPT-4，且在区分缺失和未指定信息方面表现更佳。

📝 摘要（中文）

放射科医师生成的非结构化数据在临床护理中具有重要价值，但由于风格的多样性限制了其使用。本研究比较了使用领域适应语言模型RadLing和通用语言模型GPT-4在提取胸部放射报告相关特征并将其标准化为通用数据元素（CDEs）方面的效果。研究结果显示，RadLing在特征提取和CDE映射的F1分数上均显著优于GPT-4，分别为97%和98%。此外，RadLing在区分缺失和未指定信息方面表现更佳。该系统的领域适应嵌入还提升了GPT-4的性能，显示出更高的临床应用潜力。

🔬 方法详解

问题定义：本研究旨在解决胸部放射报告中结构化数据提取的准确性问题。现有的通用语言模型在处理放射科特定术语和风格时，表现出较大的不一致性和准确性不足。

核心思路：论文提出的RadLing模型通过领域适应技术，针对放射科报告的特定需求进行优化，旨在提高特征提取和数据映射的准确性。该模型利用领域特定的嵌入和轻量级的映射器，以更好地理解和处理放射科数据。

技术框架：RadLing系统的整体架构包括数据预处理、特征提取、CDE映射和结果评估四个主要模块。首先，系统对放射报告进行预处理，然后利用领域适应的嵌入进行特征提取，接着将提取的特征映射到预定义的CDEs，最后通过与参考标准的比较进行结果评估。

关键创新：RadLing的主要创新在于其领域适应的嵌入技术，显著提升了特征提取的准确性，并且其轻量级的映射器在CDE分配上表现优异。这与传统的通用模型形成了鲜明对比，后者在特定领域的应用中往往效果不佳。

关键设计：在模型设计中，RadLing采用了特定的损失函数以优化特征提取的准确性，并通过动态少量样本学习来增强模型的适应能力。此外，模型的参数设置经过精心调整，以确保在放射科数据的处理上达到最佳效果。

📊 实验亮点

实验结果显示，RadLing在特征提取的F1分数上达到97%，而GPT-4仅为78%；在CDE映射的F1分数上，RadLing为98%，GPT-4为94%。此外，RadLing在区分缺失和未指定信息方面的准确率分别为99%和99%，显著优于GPT-4的64%和89%。

🎯 应用场景

该研究的潜在应用领域包括医疗信息系统、放射科数据管理和临床决策支持。通过提高胸部放射报告的结构化数据提取准确性，RadLing能够帮助医疗机构更有效地利用放射科数据，提升临床护理质量，并降低医疗成本。未来，该技术有望扩展到其他医学领域的非结构化数据处理。

📄 摘要（原文）

Radiologists produce unstructured data that can be valuable for clinical care when consumed by information systems. However, variability in style limits usage. Study compares system using domain-adapted language model (RadLing) and general-purpose LLM (GPT-4) in extracting relevant features from chest radiology reports and standardizing them to common data elements (CDEs). Three radiologists annotated a retrospective dataset of 1399 chest XR reports (900 training, 499 test) and mapped to 44 pre-selected relevant CDEs. GPT-4 system was prompted with report, feature set, value set, and dynamic few-shots to extract values and map to CDEs. Output key:value pairs were compared to reference standard at both stages and an identical match was considered TP. F1 score for extraction was 97% for RadLing-based system and 78% for GPT-4 system. F1 score for mapping was 98% for RadLing and 94% for GPT-4; difference was statistically significant (P<.001). RadLing's domain-adapted embeddings were better in feature extraction and its light-weight mapper had better f1 score in CDE assignment. RadLing system also demonstrated higher capabilities in differentiating between absent (99% vs 64%) and unspecified (99% vs 89%). RadLing system's domain-adapted embeddings helped improve performance of GPT-4 system to 92% by giving more relevant few-shot prompts. RadLing system offers operational advantages including local deployment and reduced runtime costs.