WoLF: Wide-scope Large Language Model Framework for CXR Understanding

📄 arXiv: 2403.15456v3 📥 PDF

作者: Seil Kang, Donghyun Kim, Junhyeok Kim, Hyo Kyung Lee, Seong Jae Hwang

分类: cs.AI, cs.CL

发布日期: 2024-03-19 (更新: 2024-03-29)

备注: 11 pages main paper, 2 pages supplementary

💡 一句话要点

提出WoLF框架以解决胸部X光理解中的多重问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胸部X光理解 视觉问答 电子健康记录 报告生成 多模态学习 人工智能评估 医学影像分析

📋 核心要点

  1. 现有CXR理解方法主要依赖CXR报告，缺乏对患者多维健康数据的综合考虑，影响了视觉问答的准确性。
  2. WoLF框架通过整合电子健康记录，生成适合CXR理解的指令数据，并通过解耦报告知识提升生成效果。
  3. 在实验中，WoLF在VQA任务上平均提升9.47个百分点，在报告生成任务上BLEU-1分数提升7.3个百分点，表现优异。

📝 摘要（中文）

在胸部X光（CXR）理解领域，现代视觉语言模型（VLMs）已取得显著进展，尤其在视觉问答（VQA）和CXR报告生成方面。然而，现有框架存在多个不足之处，包括仅依赖CXR报告、报告结构不清晰以及评估方法缺乏细致性。为了解决这些问题，本文提出了WoLF框架，利用电子健康记录（EHR）捕捉多维患者信息，改进报告生成性能，并引入AI评估协议。通过实验验证，WoLF在MIMIC-CXR数据集上在VQA和报告生成方面均表现出显著优于其他模型的性能。

🔬 方法详解

问题定义：本文旨在解决现有CXR理解框架在多维数据整合、报告结构化及评估方法上的不足。现有方法仅依赖CXR报告，缺乏对患者健康历史的全面考虑，且报告结构不清晰，评估方法也未能提供细致的答案评估。

核心思路：WoLF框架通过整合电子健康记录（EHR），捕捉患者的多维信息，以支持更准确的诊断。同时，采用解耦技术提升报告生成的结构化效果，优化生成的内容。

技术框架：WoLF框架包含多个模块，首先是数据整合模块，从EHR中提取患者信息；其次是报告生成模块，通过解耦知识生成结构化报告；最后是评估模块，采用AI评估协议对生成结果进行细致评估。

关键创新：WoLF的主要创新在于引入EHR数据以丰富CXR理解，采用解耦技术提升报告生成的结构化程度，并设计了专门的AI评估协议，能够更全面地评估模型性能。

关键设计：在模型设计中，采用了掩蔽注意力机制以增强对解剖结构的关注，同时在损失函数中引入了多维评估指标，以确保生成内容的准确性和可读性。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

在MIMIC-CXR数据集上，WoLF框架在视觉问答任务中平均提升了9.47个百分点，在报告生成任务中BLEU-1分数提升了7.3个百分点，显示出显著的性能优势，超越了现有的其他模型。

🎯 应用场景

WoLF框架在医疗影像分析领域具有广泛的应用潜力，能够帮助医生更准确地解读胸部X光影像，提高诊断效率。此外，该框架的设计理念和技术创新也可推广至其他医学影像理解任务，推动医疗人工智能的发展。

📄 摘要（原文）

Significant methodological strides have been made toward Chest X-ray (CXR) understanding via modern vision-language models (VLMs), demonstrating impressive Visual Question Answering (VQA) and CXR report generation abilities. However, existing CXR understanding frameworks still possess several procedural caveats. (1) Previous methods solely use CXR reports, which are insufficient for comprehensive Visual Question Answering (VQA), especially when additional health-related data like medication history and prior diagnoses are needed. (2) Previous methods use raw CXR reports, which are often arbitrarily structured. While modern language models can understand various text formats, restructuring reports for clearer, organized anatomy-based information could enhance their usefulness. (3) Current evaluation methods for CXR-VQA primarily emphasize linguistic correctness, lacking the capability to offer nuanced assessments of the generated answers. In this work, to address the aforementioned caveats, we introduce WoLF, a Wide-scope Large Language Model Framework for CXR understanding. To resolve (1), we capture multi-faceted records of patients, which are utilized for accurate diagnoses in real-world clinical scenarios. Specifically, we adopt the Electronic Health Records (EHR) to generate instruction-following data suited for CXR understanding. Regarding (2), we enhance report generation performance by decoupling knowledge in CXR reports based on anatomical structure even within the attention step via masked attention. To address (3), we introduce an AI-evaluation protocol optimized for assessing the capabilities of LLM. Through extensive experimental validations, WoLF demonstrates superior performance over other models on MIMIC-CXR in the AI-evaluation arena about VQA (up to +9.47%p mean score) and by metrics about report generation (+7.3%p BLEU-1).