RepConTUR: A Report-Conditioned Volumetric Multimodal Model for Abdominal Tumor Segmentation

📄 arXiv: 2610.40094v1 📥 PDF

作者: Seunghwan Lee, Sangjoon Park, Jongmin Lee, Yoon Jo Kim, Wonyoung Cho, Jin Sung Kim, Han Joo Chae

分类: cs.CV

发布日期: 2026-10-29

备注: Submitted to CVPR 2027

🔗 代码/项目: GITHUB

💡 一句话要点

提出RepConTUR以解决腹部肿瘤自动分割中的报告依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 腹部肿瘤分割 3D图像处理 放射治疗 视觉问答 报告条件化 深度学习

📋 核心要点

  1. 现有自动分割方法在肿瘤分割中存在误报问题，影响放疗效果和效率。
  2. RepConTUR通过结合叙述报告与3D CT图像，提出了一种新的多模态分割方法。
  3. 实验结果表明，RepConTUR在多个指标上优于现有的文本提示基线，尤其在肝脏和胰腺的分割任务中。

📝 摘要（中文）

肿瘤轮廓划定对放疗规划至关重要，但现有自动分割方法受限于错误，尤其是误报，导致剂量扭曲和编辑时间增加。现有的文本提示模型多依赖短语，且大多在2D环境下运行。本文提出RepConTUR，一个原生3D早期融合多模态模型，通过叙述报告对腹部肿瘤的体积分割进行条件化。我们扩展了AbdomenAtlas 3.0，生成基于报告的视觉问答对，提出四个基于报告的任务。实验结果显示，RepConTUR在多个指标上超越了现有基线，尤其在肝脏和胰腺的分割任务中表现优异。

🔬 方法详解

问题定义：本文旨在解决腹部肿瘤自动分割中的误报问题，现有方法多依赖短语提示，且大多在2D环境下，导致分割精度不足。

核心思路：RepConTUR通过结合叙述报告与3D CT图像，利用早期融合策略进行多模态分割，旨在提高分割精度和减少误报。

技术框架：RepConTUR的整体架构包括三个主要模块：3D CT编码器、早期融合语言模型和原生3D分割模块。模型在四个任务上联合训练，确保各模块间的有效协同。

关键创新：RepConTUR的创新之处在于其原生3D设计和对叙述报告的条件化处理，这与传统的2D方法形成鲜明对比，显著提升了分割性能。

关键设计：模型采用了特定的损失函数以优化分割精度，关键参数设置经过多次实验调整，确保在不同任务上均能达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RepConTUR在肝脏、肾脏和胰腺的分割任务中，达到了最高的Dice相似系数、实例精度和检测F1值。与nnU-Net和R-Super等视觉专家相比，RepConTUR在所有领域指标上均表现最佳，尤其在四个公共数据集上，平均Dice相似系数、召回率和精度均有显著提升。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、放射治疗规划和肿瘤监测等。通过提高肿瘤分割的准确性，RepConTUR能够帮助医生更好地制定治疗方案，提升患者的治疗效果。未来，该技术有望推广至其他器官的自动分割任务，进一步推动医学影像处理的发展。

📄 摘要（原文）

Tumor delineation is required for radiotherapy planning, yet automatic segmentation is limited by errors, predominantly false positives, that distort dose and increase editing time. The radiology report accompanies the scan and localizes disease at the suborgan level, but existing text-promptable models condition on short referring phrases, and most operate in 2D. We present RepConTUR, a single native-3D early-fusion multimodal model that conditions volumetric abdominal tumor segmentation on the narrative report. We extend AbdomenAtlas 3.0 to a suborgan-level promptable segmentation dataset and generate report-based VQA pairs, yielding four report-derived tasks on the same annotations: referring segmentation (RES), report-grounded segmentation (GSEG), report generation (RRG), and visual question answering (VQA). We train RepConTUR, comprising a 3D CT encoder, an early-fusion language model, and a native-3D segmentation module, jointly on the four tasks. Across liver, kidney and pancreas, RepConTUR attains the highest Dice similarity coefficient (DSC), instance-wise precision, and detection F1 among the text-promptable baselines, and adding the report raises mean precision while leaving recall comparable. Against two vision-only specialists, nnU-Net and the report-supervised R-Super, RepConTUR attains the highest value on every in-domain metric for liver and pancreas and the highest mean DSC, recall, precision, and detection F1 over the four out-of-distribution public cohorts. Ablations indicate that conditioning on the narrative report raises detection F1 from 0.499 to 0.528 within the same model, that joint GSEG training raises RES F1 from 0.450 to 0.482, and that the native-3D segmentation module raises GSEG F1 from 0.139 to 0.528 over its 2D counterpart. Code is available at https://github.com/Oncosoft-Research/RepConTUR.