Graph Representation Learning of Longitudinal Medical Imaging Trajectories for Treatment Response Prediction

📄 arXiv: 2607.04912v1 📥 PDF

作者: Johannes Kiechle, Richard Osuala, Daniel M. Lang, Stefan M. Fischer, Ivana Janíčková, Karim Lekadir, Julia A. Schnabel, Jan C. Peeken

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-07-06

💡 一句话要点

提出基于图表示学习的框架以预测乳腺癌治疗反应

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图表示学习 乳腺癌 治疗反应预测 图神经网络 自监督学习 时空建模 DCE-MRI 个性化医疗

📋 核心要点

  1. 现有方法在乳腺癌治疗反应预测中面临个体差异大、决策困难等挑战。
  2. 本文提出了一种结合图神经网络和自监督学习的3D时空框架，旨在提高治疗反应预测的准确性。
  3. 实验结果显示，该方法在多个分类指标上显著优于现有基线，验证了其有效性。

📝 摘要（中文）

在乳腺癌患者中，病理完全反应（pCR）被确立为长期预后的重要替代指标。尽管常用新辅助化疗（NACT），治疗决策仍面临挑战，因为患者的治疗反应差异显著。因此，本文提出了一种基于成像的3D时空框架，结合了先进的图神经网络和时间点间关系建模，以及三种新的自监督治疗轨迹表示学习目标。实验结果表明，该方法在585名患者的ISPY-2数据集中显著优于视觉和自监督学习基线，建立了乳腺癌pCR预测基准，并进行了方法的消融研究，评估了每位患者DCE-MRI时间点数量及扫描间隔的影响。整体而言，本研究证明了临床相关的纵向医学成像建模在预测NACT诱导的pCR中的有效性。

🔬 方法详解

问题定义：本文旨在解决乳腺癌患者在新辅助化疗中治疗反应预测的挑战，现有方法无法有效处理患者间的反应差异和时间序列数据的复杂性。

核心思路：提出了一种基于图神经网络的3D时空框架，通过建模时间点间的关系，结合自监督学习目标，提升个体化治疗反应的预测能力。

技术框架：整体架构包括图神经网络模块用于捕捉空间和时间特征，结合自监督学习目标进行治疗轨迹的表示学习，最终通过分类器进行预测。

关键创新：最重要的创新在于将图神经网络与自监督学习相结合，能够有效建模时间序列数据中的复杂关系，提升了预测的准确性。

关键设计：在网络结构上，采用了多层图神经网络，损失函数设计为结合分类损失和自监督损失，以优化模型的学习效果，同时考虑了DCE-MRI时间点的数量和扫描间隔对结果的影响。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，所提方法在585名患者的ISPY-2数据集中，分类指标显著优于视觉和自监督学习基线，具体提升幅度达到XX%（具体数据需查阅原文），为乳腺癌pCR预测建立了新的基准。

🎯 应用场景

该研究的潜在应用领域包括乳腺癌的个性化治疗方案制定和临床决策支持。通过提高治疗反应预测的准确性，能够帮助医生更好地选择合适的治疗方案，从而改善患者的长期预后。未来，该方法也可能推广至其他类型的癌症和疾病的治疗反应预测中。

📄 摘要（原文）

In patients with breast cancer, pathological complete response (pCR) has been established as a clinically meaningful surrogate marker for long-term outcomes. While commonly treated with neoadjuvant chemotherapy (NACT), effective treatment decision-making remains challenging, as therapeutic response can vary substantially across patients, calling for predictive models capable of accurately estimating individualized treatment response. To address this, we propose an imaging-based 3D spatio-temporal framework for treatment response prediction that integrates a state-of-the-art graph neural network with relational modeling of temporal interactions across timepoints alongside three novel complementary self-supervised treatment trajectory representation learning objectives. Experiments across a cohort of 585 patients from the public ISPY-2 dataset demonstrate that our method substantially outperforms both vision and self-supervised learning baselines across several classification metrics. Alongside establishing a breast cancer pCR prediction benchmark, we include a principled ablation of our method and further introduce and empirically assess the impact of the available number of DCE-MRI timepoints per patient trajectory and the inclusion of inter-scan time-differences. Overall, our study substantiates the utility of clinically meaningful longitudinal medical imagaging modeling for predicting NACT-induced pCR. We will publicly share our code repository and a user-friendly PyPI library for dataset curation upon publication, effectively promoting reproducible open-source research.