End-to-End Breast Cancer Radiotherapy Planning via LMMs with Consistency Embedding

📄 arXiv: 2311.15876v4 📥 PDF

作者: Kwanyoung Kim, Yujin Oh, Sangjoon Park, Hwa Kyung Byun, Joongyo Lee, Jin Sung Kim, Yong Bae Kim, Jong Chul Ye

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-11-27 (更新: 2025-05-27)

备注: Accepted for Medical Image Analysis 2025

💡 一句话要点

提出RO-LMM以优化放射肿瘤学中的治疗计划

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射肿瘤学 多模态模型 一致性嵌入 临床工作流程 治疗计划 靶区分割 人工智能

📋 核心要点

  1. 现有的放射肿瘤学方法在处理多模态数据时存在误差累积和效率低下的问题。
  2. 本文提出的RO-LMM模型通过Consistency Embedding Fine-Tuning技术，优化了临床工作流程中的多个任务。
  3. 多中心验证实验结果显示，RO-LMM在临床任务中表现出优异的性能，具有良好的泛化能力。

📝 摘要（中文）

近年来，人工智能基础模型在减轻临床工作负担方面展现出巨大潜力，尤其是在放射肿瘤学领域。本文提出了一种多用途的大型多模态模型RO-LMM，旨在整合多种模态以支持临床工作流程中的多个任务，包括临床背景总结、放射治疗计划建议和基于计划的靶区分割。为确保连续任务的准确性，提出了一种新颖的Consistency Embedding Fine-Tuning（CEFTune）技术，增强了模型对噪声输入的鲁棒性，同时保持对干净输入的一致性。实验结果表明，RO-LMM在多个临床任务中表现出良好的性能和泛化能力。

🔬 方法详解

问题定义：本文旨在解决放射肿瘤学中多模态数据处理的误差累积和效率低下的问题。现有方法在处理连续任务时容易受到噪声输入的影响，导致结果不准确。

核心思路：提出RO-LMM模型，结合Consistency Embedding Fine-Tuning（CEFTune）技术，旨在提高模型对噪声输入的鲁棒性，同时保持对干净输入的一致性，从而优化临床工作流程。

技术框架：RO-LMM的整体架构包括多个模块，首先进行临床背景总结，然后生成放射治疗计划，最后进行靶区分割。每个模块都利用LMM的能力进行任务处理。

关键创新：最重要的技术创新在于CEFTune和Consistency Embedding Segmentation（CESEG）技术的提出，这些技术显著提升了模型在处理噪声输入时的稳定性和准确性。

关键设计：在模型设计中，CEFTune通过特定的损失函数和网络结构设置，确保在处理不同输入时的鲁棒性和一致性，具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RO-LMM在多个临床任务中表现出色，尤其是在靶区分割和治疗计划建议方面，性能相比于传统方法提升显著，具体数据在多中心验证中得到了验证，显示出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括放射肿瘤学的临床实践，能够有效支持医生在治疗计划制定中的决策过程。RO-LMM的多模态整合能力和鲁棒性将为个性化治疗方案的制定提供重要支持，未来可能在其他医学领域也展现出类似的应用价值。

📄 摘要（原文）

Recent advances in AI foundation models have significant potential for lightening the clinical workload by mimicking the comprehensive and multi-faceted approaches used by medical professionals. In the field of radiation oncology, the integration of multiple modalities holds great importance, so the opportunity of foundational model is abundant. Inspired by this, here we present RO-LMM, a multi-purpose, comprehensive large multimodal model (LMM) tailored for the field of radiation oncology. This model effectively manages a series of tasks within the clinical workflow, including clinical context summarization, radiation treatment plan suggestion, and plan-guided target volume segmentation by leveraging the capabilities of LMM. In particular, to perform consecutive clinical tasks without error accumulation, we present a novel Consistency Embedding Fine-Tuning (CEFTune) technique, which boosts LMM's robustness to noisy inputs while preserving the consistency of handling clean inputs. We further extend this concept to LMM-driven segmentation framework, leading to a novel Consistency Embedding Segmentation (CESEG) techniques. Experimental results including multi-centre validation confirm that our RO-LMM with CEFTune and CESEG results in promising performance for multiple clinical tasks with generalization capabilities.