Large Model driven Radiology Report Generation with Clinical Quality Reinforcement Learning

📄 arXiv: 2403.06728v1 📥 PDF

作者: Zijian Zhou, Miaojing Shi, Meng Wei, Oluwatosin Alabi, Zijie Yue, Tom Vercauteren

分类: cs.CV

发布日期: 2024-03-11

💡 一句话要点

提出LM-RRG以解决放射科报告生成的临床质量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射科报告生成 临床质量 强化学习 多模态生成 大型语言模型

📋 核心要点

  1. 现有的放射科报告生成方法在生成的报告质量上仍未达到临床标准，存在准确性和全面性不足的问题。
  2. 本文提出的LM-RRG方法通过结合大型模型与临床质量强化学习，旨在提高胸部X光报告的生成质量。
  3. 在MIMIC-CXR和IU-Xray数据集上的实验结果显示，LM-RRG方法在报告生成的准确性和临床质量上显著优于现有方法。

📝 摘要（中文）

放射科报告生成（RRG）因其潜力减少放射科医生的工作负担而受到广泛关注。然而，现有的RRG方法在临床标准下仍显不足。本文提出了一种新颖的RRG方法LM-RRG，结合了大型模型与临床质量强化学习，以生成准确且全面的胸部X光报告。该方法首先设计了一个大型语言模型驱动的特征提取器，分析和解释胸部X光图像的不同区域，强调具有医学意义的特定区域。接着，基于大型模型的解码器，开发了一个多模态报告生成器，利用来自视觉特征和文本指令的多模态提示，以自回归方式生成报告。最后，引入了一种新颖的临床质量强化学习策略，利用放射科报告临床质量（RadCliQ）指标作为学习过程中的奖励函数。大量实验表明，该方法在MIMIC-CXR和IU-Xray数据集上优于现有技术。

🔬 方法详解

问题定义：本文旨在解决放射科报告生成中存在的准确性和全面性不足的问题。现有方法往往无法满足临床标准，导致生成的报告质量不高。

核心思路：LM-RRG方法通过整合大型语言模型与临床质量强化学习，设计了一个特征提取器和多模态报告生成器，以提高报告的生成质量和临床相关性。

技术框架：该方法的整体架构包括三个主要模块：首先是大型语言模型驱动的特征提取器，用于分析胸部X光图像；其次是多模态报告生成器，利用视觉特征和文本指令生成报告；最后是临床质量强化学习策略，通过RadCliQ指标优化生成质量。

关键创新：本研究的关键创新在于引入了临床质量强化学习策略，利用RadCliQ作为奖励函数，能够更好地反映放射科医生对报告中显著和不显著错误的评估，从而提升生成报告的临床质量。

关键设计：在技术细节上，特征提取器采用了大型语言模型的解码器，生成器则使用自回归方式生成报告，损失函数设计上考虑了临床质量指标，以确保生成的报告符合临床需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在MIMIC-CXR和IU-Xray数据集上的实验结果表明，LM-RRG方法在报告生成的准确性上相比现有技术有显著提升，具体性能数据未详述，但实验结果显示其在临床质量评估上优于现有方法，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、放射科自动化报告生成等。通过提高报告生成的准确性和临床相关性，LM-RRG能够显著减轻放射科医生的工作负担，提升医疗服务的效率和质量，未来可能在临床实践中得到广泛应用。

📄 摘要（原文）

Radiology report generation (RRG) has attracted significant attention due to its potential to reduce the workload of radiologists. Current RRG approaches are still unsatisfactory against clinical standards. This paper introduces a novel RRG method, \textbf{LM-RRG}, that integrates large models (LMs) with clinical quality reinforcement learning to generate accurate and comprehensive chest X-ray radiology reports. Our method first designs a large language model driven feature extractor to analyze and interpret different regions of the chest X-ray image, emphasizing specific regions with medical significance. Next, based on the large model's decoder, we develop a multimodal report generator that leverages multimodal prompts from visual features and textual instruction to produce the radiology report in an auto-regressive way. Finally, to better reflect the clinical significant and insignificant errors that radiologists would normally assign in the report, we introduce a novel clinical quality reinforcement learning strategy. It utilizes the radiology report clinical quality (RadCliQ) metric as a reward function in the learning process. Extensive experiments on the MIMIC-CXR and IU-Xray datasets demonstrate the superiority of our method over the state of the art.