Longitudinal NSCLC Treatment Progression via Multimodal Generative Models
作者: Massimiliano Mantegna, Elena Mulero Ayllón, Alice Natalina Caragliano, Francesco Di Feola, Claudia Tacconi, Michele Fiore, Edy Ippolito, Carlo Greco, Sara Ramella, Philippe C. Cattin, Paolo Soda, Matteo Tortora, Valerio Guarrasi
分类: cs.CV
发布日期: 2026-03-06
💡 一句话要点
提出剂量感知的多模态生成模型，用于预测NSCLC放疗期间的肿瘤演变。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 非小细胞肺癌 放疗 肿瘤演变预测 生成模型 多模态学习 剂量感知 扩散模型
📋 核心要点
- 预测放疗期间的肿瘤演变至关重要，但现有方法难以有效整合解剖结构和治疗因素的影响。
- 论文提出虚拟治疗（VT）框架，将肿瘤进展建模为剂量感知的多模态图像转换问题，从而预测治疗后的肿瘤形态。
- 实验结果表明，基于扩散的模型在多模态剂量感知条件下表现更优，能生成更稳定和真实的肿瘤演变轨迹。
📝 摘要（中文）
本研究提出了一种虚拟治疗（VT）框架，将非小细胞肺癌（NSCLC）的进展建模为剂量感知的多模态条件图像到图像的转换问题。给定CT扫描、基线临床变量和指定的辐射剂量增量，VT旨在合成合理的后续CT图像，反映治疗引起的解剖结构变化。我们在一个包含222名III期NSCLC患者的纵向数据集上评估了该框架，该数据集包含在不规则临床计划下放疗期间获得的895个CT扫描。生成过程以递送的剂量增量以及人口统计学和肿瘤相关的临床变量为条件。对基于GAN和基于扩散的代表性模型在2D和2.5D配置中进行了基准测试。定量和定性结果表明，基于扩散的模型更一致地受益于多模态、剂量感知的条件，并产生比基于GAN的基线更稳定和解剖学上合理的肿瘤演变轨迹，支持了VT作为NSCLC体内治疗监测和自适应放疗研究工具的潜力。
🔬 方法详解
问题定义：论文旨在解决非小细胞肺癌（NSCLC）放疗过程中肿瘤演变的预测问题。现有方法难以准确预测肿瘤在放疗过程中的变化，尤其是在解剖结构和治疗剂量共同作用下。痛点在于缺乏能够有效整合多模态信息（CT图像、临床变量、剂量信息）并准确模拟肿瘤演变过程的模型。
核心思路：论文的核心思路是将肿瘤演变建模为一个条件图像到图像的转换问题。通过构建一个虚拟治疗（VT）框架，利用生成模型学习从初始CT图像、临床变量和剂量信息到后续CT图像的映射关系。核心在于利用剂量信息作为条件，指导生成模型预测肿瘤在放疗过程中的形态变化。
技术框架：VT框架的整体架构包括以下几个主要模块：1）数据预处理模块：对CT图像进行预处理，提取临床变量和剂量信息。2）生成模型模块：采用GAN或扩散模型作为生成器，学习从输入条件（初始CT图像、临床变量、剂量信息）到目标CT图像的映射关系。3）评估模块：采用定量指标（如PSNR、SSIM）和定性评估方法，评估生成模型的性能。论文分别测试了基于GAN和Diffusion的模型，并比较了2D和2.5D配置。
关键创新：论文的关键创新在于提出了剂量感知的多模态条件生成模型，用于预测NSCLC放疗期间的肿瘤演变。与现有方法相比，该方法能够更有效地整合多模态信息，并利用剂量信息指导生成模型预测肿瘤形态变化。此外，论文还构建了一个包含大量纵向CT扫描数据的NSCLC数据集，为该领域的研究提供了数据支持。
关键设计：论文中，生成模型采用GAN或扩散模型。对于GAN模型，可能采用了U-Net结构作为生成器，并使用对抗损失和L1损失进行训练。对于扩散模型，可能采用了DDPM或DDIM等变体，并使用噪声预测损失进行训练。剂量信息通过嵌入层进行编码，并与CT图像的特征图进行融合。实验中，可能调整了学习率、batch size等超参数，并采用了数据增强等技术来提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于扩散的模型在多模态剂量感知条件下表现优于基于GAN的模型，能够生成更稳定和解剖学上合理的肿瘤演变轨迹。定量评估指标显示，基于扩散的模型在PSNR和SSIM等指标上取得了显著提升。此外，定性评估结果也表明，基于扩散的模型生成的CT图像更接近真实的后续CT图像。
🎯 应用场景
该研究成果可应用于临床放疗计划的制定和优化。通过虚拟治疗框架，医生可以预测不同剂量方案下的肿瘤演变情况，从而选择最佳的治疗方案。此外，该技术还可用于个性化放疗方案的设计，根据患者的具体情况调整治疗策略。未来，该技术有望成为自适应放疗的重要组成部分，提高NSCLC的治疗效果。
📄 摘要（原文）
Predicting tumor evolution during radiotherapy is a clinically critical challenge, particularly when longitudinal changes are driven by both anatomy and treatment. In this work, we introduce a Virtual Treatment (VT) framework that formulates non-small cell lung cancer (NSCLC) progression as a dose-aware multimodal conditional image-to-image translation problem. Given a CT scan, baseline clinical variables, and a specified radiation dose increment, VT aims to synthesize plausible follow-up CT images reflecting treatment-induced anatomical changes. We evaluate the proposed framework on a longitudinal dataset of 222 stage III NSCLC patients, comprising 895 CT scans acquired during radiotherapy under irregular clinical schedules. The generative process is conditioned on delivered dose increments together with demographic and tumor-related clinical variables. Representative GAN-based and diffusion-based models are benchmarked across 2D and 2.5D configurations. Quantitative and qualitative results indicate that diffusion-based models benefit more consistently from multimodal, dose-aware conditioning and produce more stable and anatomically plausible tumor evolution trajectories than GAN-based baselines, supporting the potential of VT as a tool for in-silico treatment monitoring and adaptive radiotherapy research in NSCLC.