Large-Language-Model Empowered Dose Volume Histogram Prediction for Intensity Modulated Radiotherapy

📄 arXiv: 2402.07167v1 📥 PDF

作者: Zehao Dong, Yixin Chen, Hiram Gay, Yao Hao, Geoffrey D. Hugo, Pamela Samson, Tianyu Zhao

分类: cs.AI

发布日期: 2024-02-11

💡 一句话要点

提出基于大语言模型的剂量体积直方图预测以优化放疗计划

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 剂量体积直方图 深度学习 大语言模型 放射治疗 图神经网络 在线人机协作 自动化医疗

📋 核心要点

  1. 现有放疗计划方法耗时且资源密集，难以实现高效自动化，亟需改进。
  2. 本研究提出了一种结合深度学习和大语言模型的剂量体积直方图预测方法，旨在提升放疗计划的自动化水平。
  3. 实验结果表明，DoseGNN模型在DVH预测中均方误差显著低于现有主流模型，显示出良好的性能提升。

📝 摘要（中文）

放疗计划目前是一个患者特异性、耗时且资源密集的任务。剂量体积直方图（DVH）预测在自动化这一过程中的关键作用已被确立。本研究探索了深度学习模型在使用图像进行DVH预测的潜力，并通过大语言模型（LLM）增强计划质量。我们提出了一种将非结构化图像转换为结构化图的管道，并开发了一种新颖的剂量图神经网络（DoseGNN）模型。该模型结合LLM，能够编码来自处方和临床医生互动指令的大量知识。我们引入了一种在线人机协作系统（OHAC），作为自动化强度调制放疗（IMRT）计划的实际实现。与广泛使用的深度学习模型相比，DoseGNN在预测DVH时的均方误差显著降低，显示出其优越性。

🔬 方法详解

问题定义：本研究旨在解决放疗计划中剂量体积直方图（DVH）预测的效率和准确性问题。现有方法通常依赖于复杂的手动过程，导致时间和资源的浪费。

核心思路：论文提出了一种将非结构化图像转化为结构化图的管道，并利用深度学习模型DoseGNN进行DVH预测。通过引入大语言模型（LLM），增强了模型对临床知识的理解和应用能力。

技术框架：整体架构包括图像处理模块、结构化图生成模块和DoseGNN预测模块。首先，将输入图像分割为图像块，并构建包含剂量节点的图结构。然后，DoseGNN利用该图进行DVH预测。

关键创新：最重要的创新在于将大语言模型与图神经网络结合，形成了一个在线人机协作系统（OHAC），实现了临床医生与模型之间的自然语言交互，提升了预测的灵活性和准确性。

关键设计：在DoseGNN中，采用了特定的损失函数以优化DVH预测的准确性，同时设计了适应性强的网络结构，以便于处理不同类型的输入数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DoseGNN模型在DVH预测中的均方误差分别为Swin U-Net Transformer、3D U-Net CNN和vanilla MLP的80%、76%和41%，展现了显著的性能提升，证明了其在放疗计划中的有效性。

🎯 应用场景

该研究的潜在应用领域包括放射治疗计划的自动化和优化，能够显著提高放疗的效率和准确性。通过与临床医生的互动，该系统可以实时调整治疗方案，提升患者的治疗体验和效果。未来，该技术有望在其他医疗领域的智能决策中得到应用。

📄 摘要（原文）

Treatment planning is currently a patient specific, time-consuming, and resource demanding task in radiotherapy. Dose-volume histogram (DVH) prediction plays a critical role in automating this process. The geometric relationship between DVHs in radiotherapy plans and organs-at-risk (OAR) and planning target volume (PTV) has been well established. This study explores the potential of deep learning models for predicting DVHs using images and subsequent human intervention facilitated by a large-language model (LLM) to enhance the planning quality. We propose a pipeline to convert unstructured images to a structured graph consisting of image-patch nodes and dose nodes. A novel Dose Graph Neural Network (DoseGNN) model is developed for predicting DVHs from the structured graph. The proposed DoseGNN is enhanced with the LLM to encode massive knowledge from prescriptions and interactive instructions from clinicians. In this study, we introduced an online human-AI collaboration (OHAC) system as a practical implementation of the concept proposed for the automation of intensity-modulated radiotherapy (IMRT) planning. In comparison to the widely-employed DL models used in radiotherapy, DoseGNN achieved mean square errors that were 80$\%$, 76$\%$ and 41.0$\%$ of those predicted by Swin U-Net Transformer, 3D U-Net CNN and vanilla MLP, respectively. Moreover, the LLM-empowered DoseGNN model facilitates seamless adjustment to treatment plans through interaction with clinicians using natural language.