Closed-loop coupling of personalised and foundation models for real-time treatment guidance with MRI
作者: James Grover, Emily A. Hewson, Andrew Phair, Michael Ferraro, Hilary L. Byrne, Paul Keall, Michael G. Jameson, David E. J. Waddington
分类: physics.med-ph, cs.CV
发布日期: 2026-07-01
备注: 18 pages, 8 figures, 2 supplementary figures
💡 一句话要点
提出闭环耦合框架以解决MRI实时治疗指导中的延迟问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像引导治疗 闭环耦合 个性化模型 基础模型 MRI 实时预测 解剖分割
📋 核心要点
- 现有图像引导治疗方法在运动影响下存在成像延迟，导致解剖结构的时间错位，影响治疗准确性。
- 提出的闭环耦合框架结合个性化模型的时间预测与基础模型的解剖分割，实时更新解剖信息。
- 实验结果表明，该方法在400毫秒的预测范围内显著改善了解剖预测，减少剂量误差，优于现有方法。
📝 摘要（中文）
图像引导治疗（如放射治疗、活检和深脑刺激）依赖于对解剖结构的实时定位。然而，在运动的影响下，成像延迟导致观察到的解剖结构与真实结构之间存在时间错位，影响治疗的准确性。虽然基于人工智能的框架逐渐被提出以缩小这一延迟差距，但现有个性化模型由于缺乏稳定的解剖基础而可能失效。基础模型能够提供稳定的行为，但无法适应实时的个体患者动态。本文提出了一种闭环耦合框架，将患者特定的时间预测与基础模型的连续分割解剖解释相结合。个性化模型预测未来解剖结构以补偿系统延迟，而流式基础模型提供解剖监督，实时更新时间预测器。通过数字幻影和接受MRI引导放射治疗的患者的MRI数据验证了该框架。对于400毫秒的预测范围，所提方法在临床相关的延迟约束内改善了解剖预测并减少了剂量误差。
🔬 方法详解
问题定义：本文旨在解决在MRI引导治疗中，由于运动导致的成像延迟问题，现有方法在解剖结构实时定位上存在准确性不足的挑战。
核心思路：提出的闭环耦合框架通过结合个性化模型的未来解剖预测与基础模型的解剖监督，实时更新解剖信息，从而补偿系统延迟。
技术框架：框架包括两个主要模块：个性化模型用于预测未来解剖结构，基础模型提供解剖监督并实时更新个性化模型的时间预测器。
关键创新：最重要的创新在于实现了个性化模型与基础模型的闭环耦合，解决了现有个性化模型缺乏稳定解剖基础的问题，提升了实时适应能力。
关键设计：在模型设计中，采用了特定的损失函数以优化解剖预测的准确性，并通过流式处理技术确保实时更新，具体的网络结构和参数设置在实验中进行了详细调优。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在400毫秒的预测范围内，解剖预测的准确性显著提高，剂量误差减少，优于现有方法，验证了闭环耦合框架在临床相关延迟约束下的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在放射治疗、活检和深脑刺激等图像引导治疗领域。通过提高治疗过程中的解剖预测准确性，能够显著提升患者的治疗效果和安全性，未来可能推动个性化医疗的发展。
📄 摘要（原文）
Image-guided therapies, including radiotherapy, biopsy and deep brain stimulation, rely on real-time targeting of anatomical structures. However, in the presence of motion, imaging latencies create a temporal misalignment between observed and true anatomy, compromising treatment accuracy. Artificial intelligence-based frameworks have increasingly been presented to close this latency gap, but leading personalised models can fail due to a lack of stable anatomical grounding. Foundation models can provide grounded behaviour, but they do not adapt to real-time, individual patient dynamics. Here we introduce a closed-loop coupling framework that synergises patient-specific temporal prediction with continuous segmentation-based anatomical interpretation from a foundation model. A personalised model predicts future anatomy to compensate for system latency, while a streaming foundation model provides anatomical supervision used to continuously update the temporal predictor in real time during treatment. We validate the framework using a digital phantom and intrafraction magnetic resonance imaging (MRI) from patients undergoing MRI-guided radiotherapy. For a prediction horizon of 400 ms, the proposed method improves anatomical prediction and reduces dosimetric error compared with existing approaches, within clinically relevant latency constraints. These results establish closed-loop coupling as a general strategy for real-time image-guided intervention.