AuricularWorld: Hierarchical Action-Guided World Modeling for Fine-Grained Auricular Structure Segmentation from CT Scans
作者: Jingwen Yang, Senmao Wang, Luoyao Kang, Runmeng Cui, Keying Zhang, Yunjia Bao, Haifan Gong, Lin Lin, Haiyue Jiang
分类: cs.CV
发布日期: 2026-07-30
💡 一句话要点
提出基于世界模型的分割框架以解决耳部CT图像细粒度分割问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 耳部结构分割 CT图像分析 医学图像处理 深度学习 递归状态空间模型 层次化动作目标 细粒度分割 解剖推理
📋 核心要点
- 耳部CT图像的细粒度分割面临耳朵区域小、软骨边界不规则及软骨与周围组织界面模糊等挑战。
- 提出了一种基于世界模型的分割框架，利用递归状态空间模型进行迭代解剖推理，超越传统方法。
- 实验结果显示，该框架在小型耳部结构分割中，准确性提高，HD95指标减少超过43%。
📝 摘要（中文）
耳部结构在CT图像中的细粒度分割面临诸多挑战，包括耳朵占据图像区域小、软骨边界不规则以及软骨与周围软组织之间的界面模糊等问题。本文提出了一种基于世界模型的分割框架，能够进行迭代的解剖推理，超越传统的前馈预测。该框架基于编码器-解码器架构，引入了确定性递归状态空间模型到中间潜在空间。通过多尺度编码器特征和部分解码表示的融合，形成结构观察以初始化潜在动态。推理过程中，模型执行三步潜在展开，无需真实标签指导。层次化的解剖动作更新递归状态，逐步细化潜在表示。实验结果表明，该框架在小型、不规则和重叠的耳部结构分割中，准确性显著提高，HD95减少超过43%。
🔬 方法详解
问题定义：本文旨在解决耳部CT图像中细粒度结构的分割问题，现有方法在处理小区域和复杂边界时表现不佳，且临床标注存在重叠和嵌套标签的情况。
核心思路：提出的框架通过引入递归状态空间模型，允许在潜在空间中进行迭代推理，从而增强解剖结构的理解和分割精度。
技术框架：整体架构为编码器-解码器结构，结合多尺度特征和部分解码表示，形成结构观察以初始化潜在动态。推理过程中，模型执行三步潜在展开，利用层次化解剖动作逐步更新潜在表示。
关键创新：最重要的创新在于引入了平衡的层次化动作目标，解决了前景稀疏、缺失解剖组和添加/移除操作之间的不平衡问题，这在现有方法中是未曾涉及的。
关键设计：在损失函数设计上，采用了平衡的层次化动作目标，确保模型在学习过程中能够有效处理稀疏和重叠的标签，同时在网络结构上结合了多尺度特征以增强分割效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在小型、复杂和重叠的耳部结构分割中，准确性显著提高，HD95指标减少超过43%。与传统方法相比，该框架在细粒度分割任务中展现出更强的鲁棒性和准确性。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、耳部疾病诊断及手术规划等。通过提高耳部结构的分割精度，能够为临床提供更为准确的解剖信息，进而改善患者的治疗效果。未来，该方法也可扩展至其他复杂结构的医学图像分割任务。
📄 摘要（原文）
Fine-grained segmentation of auricular structures in CT is challenging because the ear occupies a small image region, cartilage boundaries are highly irregular, and interfaces between cartilage and surrounding soft tissues are often ambiguous. Clinical annotations may also include both composite structures containing cartilage and adjacent skin and their corresponding cartilage-only regions, producing nested and overlapping labels. We propose a world-model-based segmentation framework that enables iterative anatomical reasoning beyond conventional feed-forward prediction. Built on an encoder-decoder architecture, the framework introduces a deterministic recurrent state-space model into the intermediate latent space. Multi-scale encoder features and partially decoded representations are fused to form a structural observation that initializes the latent dynamics. During inference, the model performs a three-step latent rollout without ground-truth guidance. Hierarchical anatomical actions update the recurrent state and progressively refine the latent representation. The resulting latent trajectory is projected back into the decoder and combined with high-resolution features to produce the final segmentation. To learn reliable latent transitions, we introduce a balanced hierarchical action objective that addresses foreground sparsity, missing anatomical groups, and imbalance between add and remove operations. Extensive experiments show that the proposed framework consistently improves segmentation accuracy and reduces HD95 by more than 43% for small, irregular, and overlapping auricular structures in CT. These results demonstrate the effectiveness of latent world-model reasoning for challenging medical image segmentation.