Dia-LLaMA: Towards Large Language Model-driven CT Report Generation

📄 arXiv: 2403.16386v1 📥 PDF

作者: Zhixuan Chen, Luyang Luo, Yequan Bie, Hao Chen

分类: cs.CV, cs.AI

发布日期: 2024-03-25

备注: 10 pages

💡 一句话要点

提出Dia-LLaMA以解决CT报告生成中的偏差与信息丢失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CT报告生成 长语言模型 医学影像 疾病感知注意力 多模态学习 诊断信息提取 自然语言处理

📋 核心要点

  1. 现有医学报告生成方法在处理正常与异常病例时存在偏差，导致诊断不可靠。
  2. 本文提出Dia-LLaMA框架，通过引入诊断信息和疾病原型记忆库，优化CT报告生成过程。
  3. 实验结果显示，Dia-LLaMA在临床效能和自然语言生成指标上超越了现有方法，达到了最新的研究水平。

📝 摘要（中文）

医学报告生成已取得显著进展，但仍面临诸多挑战。首先，正常与异常病例的分布不均可能导致模型偏向正常样本，影响诊断可靠性。其次，报告中常见模板句子的频繁出现可能掩盖关键信息。此外，现有研究主要集中于2D胸部X光，CT报告生成尚未得到充分探索。为此，本文提出了Dia-LLaMA框架，通过引入诊断信息作为指导提示，适配LLaMA2-7B进行CT报告生成。实验结果表明，该方法在临床效能和自然语言生成指标上均优于现有方法，达到了最新的研究水平。

🔬 方法详解

问题定义：本文旨在解决CT报告生成中由于正常与异常病例分布不均而导致的模型偏差，以及常见模板句子掩盖关键信息的问题。现有方法主要集中于2D胸部X光，CT报告生成尚未得到充分研究。

核心思路：提出Dia-LLaMA框架，通过引入诊断信息作为指导提示，结合疾病原型记忆库，增强模型对异常信息的关注，从而提高CT报告生成的准确性和可靠性。

技术框架：整体架构包括三个主要模块：首先，使用预训练的ViT3D提取CT图像的视觉信息；其次，通过疾病原型记忆库提取额外的诊断信息；最后，应用疾病感知注意力机制，调整模型对不同疾病的关注。

关键创新：最重要的创新点在于结合了疾病原型记忆库和疾病感知注意力机制，使模型能够动态调整对异常信息的关注程度，从而显著提升报告生成的质量。

关键设计：在模型训练过程中，疾病原型记忆库会不断更新，以捕捉常见疾病的表征。此外，模型的损失函数和网络结构经过精心设计，以确保生成的报告既符合临床要求，又具备自然语言的流畅性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Dia-LLaMA在胸部CT数据集上的表现优于现有方法，达到了临床效能和自然语言生成指标的最新状态，具体提升幅度超过了XX%（具体数据需根据实验结果补充）。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在医学影像分析和自动报告生成领域。通过提高CT报告生成的准确性和可靠性，能够为临床医生提供更为有效的决策支持，进而提升患者的诊疗效果。未来，该方法还可以扩展到其他类型的医学影像报告生成中。

📄 摘要（原文）

Medical report generation has achieved remarkable advancements yet has still been faced with several challenges. First, the inherent imbalance in the distribution of normal and abnormal cases may lead models to exhibit a biased focus on normal samples, resulting in unreliable diagnoses. Second, the frequent occurrence of common template sentences in the reports may overwhelm the critical abnormal information. Moreover, existing works focus on 2D chest X-rays, leaving CT report generation underexplored due to the high-dimensional nature of CT images and the limited availability of CT-report pairs. Recently, LLM has shown a great ability to generate reliable answers with appropriate prompts, which shed light on addressing the aforementioned challenges. In this paper, we propose Dia-LLaMA, a framework to adapt the LLaMA2-7B for CT report generation by incorporating diagnostic information as guidance prompts. Considering the high dimension of CT, we leverage a pre-trained ViT3D with perceiver to extract the visual information. To tailor the LLM for report generation and emphasize abnormality, we extract additional diagnostic information by referring to a disease prototype memory bank, which is updated during training to capture common disease representations. Furthermore, we introduce disease-aware attention to enable the model to adjust attention for different diseases. Experiments on the chest CT dataset demonstrated that our proposed method outperformed previous methods and achieved state-of-the-art on both clinical efficacy performance and natural language generation metrics. The code will be made publically available.