Exploring the Design Space of 3D MLLMs for CT Report Generation

📄 arXiv: 2506.21535v2 📥 PDF

作者: Mohammed Baharoon, Jun Ma, Congyu Fang, Augustin Toma, Bo Wang

分类: eess.IV, cs.CV, cs.LG

发布日期: 2025-06-26 (更新: 2025-09-21)

🔗 代码/项目: GITHUB

💡 一句话要点

提出3D多模态大语言模型以提升CT报告生成效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 CT报告生成 知识增强 放射学 深度学习

📋 核心要点

  1. 现有的放射学报告生成方法在处理3D CT图像时面临多模态信息融合不足和性能提升有限的挑战。
  2. 本研究提出了一种系统的设计框架，探索3D MLLMs在CT报告生成中的应用，结合知识增强方法以提升生成质量。
  3. 实验结果显示，采用新方法在GREEN评分上提高了10%，并在MICCAI 2024 AMOS-MM挑战赛中获得第二名，验证了方法的有效性。

📝 摘要（中文）

多模态大语言模型（MLLMs）已成为自动化放射学报告生成（RRG）的有前景的方法。本研究系统地探讨了3D MLLMs的设计空间，包括视觉输入表示、投影器、大语言模型（LLMs）和3D CT报告生成的微调技术。我们还引入了两种基于知识的报告增强方法，使GREEN评分提高了10%，在2024年MICCAI AMOS-MM挑战赛中获得第二名。我们在1687个来自AMOS-MM数据集的案例上的结果表明，在相同训练协议下，RRG与LLM的大小基本独立。此外，我们还展示了如果原始ViT是在较小体积上预训练的，较大体积的大小并不总是能提高性能。最后，我们证明了使用分割掩膜与CT体积结合能够提升性能。代码已公开发布。

🔬 方法详解

问题定义：本研究旨在解决现有放射学报告生成方法在处理3D CT图像时的多模态信息融合不足和性能提升有限的问题。现有方法往往无法充分利用CT图像的空间信息，导致生成的报告质量不高。

核心思路：论文提出了一种系统的设计框架，探索3D多模态大语言模型（MLLMs）的设计空间，重点关注视觉输入表示、投影器和微调技术，同时引入知识增强方法以提升生成报告的质量。

技术框架：整体架构包括多个模块：首先是视觉输入的表示，接着是投影器的设计，然后是大语言模型的选择与微调，最后是知识增强方法的应用。每个模块都经过精心设计，以确保信息的有效融合与利用。

关键创新：最重要的技术创新点在于引入了基于知识的报告增强方法，这一方法显著提升了生成报告的质量，并在实际应用中表现出色。与现有方法相比，本研究强调了3D信息的有效利用和多模态融合的必要性。

关键设计：在参数设置上，采用了适合3D数据的特定损失函数，并对网络结构进行了优化，确保模型能够有效处理大体积的CT图像。同时，使用分割掩膜与CT体积结合的设计也被证明能显著提升性能。

📊 实验亮点

实验结果显示，采用新方法在GREEN评分上提高了10%，并在2024年MICCAI AMOS-MM挑战赛中获得第二名。这一成果表明，3D MLLMs在CT报告生成中的应用具有显著的性能提升，尤其是在结合知识增强方法后，生成质量得到了显著改善。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、放射学报告自动生成以及辅助诊断系统。通过提升CT报告生成的准确性和效率，该方法能够为临床医生提供更可靠的决策支持，进而改善患者的治疗效果。未来，该技术有望在更广泛的医疗场景中推广应用，推动智能医疗的发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have emerged as a promising way to automate Radiology Report Generation (RRG). In this work, we systematically investigate the design space of 3D MLLMs, including visual input representation, projectors, Large Language Models (LLMs), and fine-tuning techniques for 3D CT report generation. We also introduce two knowledge-based report augmentation methods that improve performance on the GREEN score by up to 10%, achieving the 2nd place on the MICCAI 2024 AMOS-MM challenge. Our results on the 1,687 cases from the AMOS-MM dataset show that RRG is largely independent of the size of LLM under the same training protocol. We also show that larger volume size does not always improve performance if the original ViT was pre-trained on a smaller volume size. Lastly, we show that using a segmentation mask along with the CT volume improves performance. The code is publicly available at https://github.com/bowang-lab/AMOS-MM-Solution