Pseudo-Text-Conditioned 3D Grounding DINO for Organ Localization in Abdominal CT

📄 arXiv: 2606.27084v1 📥 PDF

作者: Siqi Chen, Han Gong, Keyi Hou, Jingxuan Yang, Sheethal Bhat, Andreas Maier

分类: cs.CV, eess.IV

发布日期: 2026-06-25

备注: 24 pages, 17 figures

💡 一句话要点

提出CT-3GDINO以解决腹部CT器官定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D检测 器官定位 医疗影像 深度学习 多模态融合 Swin3D 伪文本引导 自动化诊断

📋 核心要点

  1. 现有的腹部CT器官定位方法在精确性和可靠性上存在不足，难以满足临床需求。
  2. CT-3GDINO通过伪文本类标记替代真实文本编码器，采用查询驱动的架构实现固定器官定位。
  3. 在193个CT体积的实验中，模型在粗定位上表现优异，IoU为0.1时AP达到0.9649，但在严格框对齐上仍有提升空间。

📝 摘要（中文）

可靠的腹部CT器官定位能够为后续创伤分析提供空间先验信息。本文提出CT-3GDINO，一种轻量级的3D检测器，采用Grounding-DINO风格的基于查询的架构，通过固定的伪文本类标记实现器官定位，而非真实的文本编码器。该模型结合了Swin3D视觉主干、双向特征增强、伪文本引导的查询选择和跨模态解码器，以预测肝脏、脾脏、左肾、右肾和肠道的标准化3D框。我们在193个匹配的RSNA/RATIC CT体积上进行训练和评估，最佳的多尺度模型在3D IoU阈值为0.1到0.7时，整体top-1类平均精度（mAP）达到0.5830，超越了固定和可训练主干的分类预训练变体（分别为0.5570和0.4657）。

🔬 方法详解

问题定义：本文旨在解决腹部CT中器官定位的准确性和可靠性问题。现有方法在处理复杂的解剖结构时，往往无法提供足够的空间先验信息，导致定位效果不佳。

核心思路：CT-3GDINO的核心思路是使用伪文本类标记来替代真实的文本编码器，从而实现更为高效的器官定位。通过这种方式，模型能够在不依赖大量文本数据的情况下，仍然保持良好的定位性能。

技术框架：CT-3GDINO的整体架构包括Swin3D视觉主干、双向特征增强模块、伪文本引导的查询选择机制和跨模态解码器。模型首先提取3D特征，然后通过查询选择和解码器生成标准化的3D边界框。

关键创新：CT-3GDINO的主要创新在于引入伪文本类标记，这一设计使得模型在训练时不再依赖真实的文本数据，从而降低了数据准备的复杂性，并提高了模型的适应性。

关键设计：模型的关键设计包括使用Swin3D作为视觉主干，采用双向特征增强来提升特征表达能力，以及通过交叉模态解码器来实现不同模态信息的融合。损失函数设计上，采用了适应于3D IoU的损失计算方式，以优化定位精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CT-3GDINO在193个CT体积的实验中表现出色，最佳多尺度模型在IoU为0.1时的AP达到0.9649，整体top-1类mAP为0.5830，显著优于固定和可训练主干的分类预训练变体，分别为0.5570和0.4657，展示了其在粗定位任务中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动化诊断系统以及创伤评估工具。通过提高器官定位的准确性，CT-3GDINO能够为临床医生提供更可靠的决策支持，进而改善患者的治疗效果。未来，该模型的设计理念也可扩展到其他医学影像领域，推动多模态融合技术的发展。

📄 摘要（原文）

Reliable organ localization in abdominal CT can provide spatial priors for downstream trauma analysis. We propose CT-3GDINO, a lightweight 3D detector that adapts a Grounding-DINO-style query-based architecture to fixed organ localization using frozen pseudo-text class tokens instead of a real text encoder. The model combines a Swin3D visual backbone, bidirectional feature enhancement, pseudo-text-guided query selection, and a cross-modality decoder to predict normalized 3D boxes for liver, spleen, left kidney, right kidney, and bowel. We train and evaluate on 193 matched RSNA/RATIC CT volumes with segmentation-derived boxes. The best multi-scale model, trained from scratch, achieves 0.5830 overall top-1 class-wise mAP over 3D IoU thresholds from 0.1 to 0.7, outperforming fixed- and trainable-backbone classification-pretrained variants with 0.5570 and 0.4657 mAP. Performance is strong for coarse localization, with 0.9649 AP at IoU 0.1, but remains limited for strict box alignment, with 0.1552 AP at IoU 0.7. These results establish CT-3GDINO as an open-source baseline for pseudo-text-conditioned 3D organ localization and motivate future work on localization-aware pretraining, richer multimodal conditioning, and injury-focused detection.