Depth-Dominant Skeleton Detection for Natural Scenes

📄 arXiv: 2608.16367v1 📥 PDF

作者: Chengkun Rao, Yixuan Deng, Min Li, Yangjun Ou, Ye Li, Ziwei Luo, Zhaojing Wang, Junwei Tang, Bangchao Wang, Xiaoyun Yan

分类: cs.CV

发布日期: 2026-08-17

备注: 11 pages, 3 figures, 4 tables

💡 一句话要点

提出深度主导的骨架检测方法以解决复杂场景下的检测问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 骨架检测 深度图像 多模态融合 计算机视觉 深度学习 模型优化 复杂场景

📋 核心要点

  1. 现有的骨架检测方法主要依赖RGB图像，导致在复杂场景下性能显著下降。
  2. 本文提出了一种新颖的骨架检测方法DDSkel，利用深度图像作为主导模态，RGB图像作为辅助模态。
  3. DDSkel在SymPASCAL数据集上表现优异，超越了所有现有方法，且参数量显著减少。

📝 摘要（中文）

目前，所有自然场景的骨架检测方法均以RGB图像作为唯一输入，尽管取得了一定进展，但在复杂内容图像上表现显著下降。本文首次提出了一种新颖的骨架检测范式，利用深度图像作为主导模态，RGB图像作为辅助模态，提出了模型DDSkel。DDSkel采用不对称编码器设计，将RGB信息融合到深度特征中，RGB模态分支的参数仅为深度模态分支的12%。尽管结构简单，DDSkel的可训练参数仅为当前最佳方法的36%，在SymPASCAL数据集上超越了所有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决现有骨架检测方法在复杂场景下性能下降的问题。现有方法主要依赖RGB图像，容易受到颜色和纹理的影响，导致检测效果不佳。

核心思路：论文提出的核心思路是将深度图像作为主导模态，利用其对颜色和纹理的不敏感性，提供清晰的区域轮廓和区域间空间关系，从而提高骨架检测的准确性。

技术框架：DDSkel模型采用不对称编码器设计，主要包括深度模态分支和RGB模态分支。深度模态分支负责提取深度特征，而RGB模态分支则将RGB信息融合进深度特征中。

关键创新：最重要的技术创新在于首次将深度图像作为主导模态进行骨架检测，显著提高了在复杂场景下的检测性能，并且模型结构简单，参数量大幅减少。

关键设计：DDSkel的RGB模态分支参数仅为深度模态分支的12%，且整体可训练参数仅为当前最佳方法的36%。模型设计上避免了复杂的结构，保持了高效性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SymPASCAL数据集上，DDSkel超越了所有现有的最先进方法，且其可训练参数仅为当前最佳方法的36%。这一显著的性能提升展示了深度图像在复杂场景下的有效性，为骨架检测领域提供了新的思路和方法。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、增强现实、自动驾驶等场景，能够在复杂环境中提供更为准确的骨架检测，提升相关技术的实用性和可靠性。未来，该方法有望推动多模态融合技术的发展，进一步拓展在计算机视觉领域的应用。

📄 摘要（原文）

To date, all natural scene skeleton detection follows the paradigm of taking RGB images as the sole input; despite notable progress, methods under this paradigm suffer significant performance degradation on complex-content images. We observe that depth images are inherently insensitive to color and texture, and can provide clear regional contours and inter-region spatial relationships, which naturally alleviates the difficulty of skeleton detection in complex scenarios. Motivated by this observation, this paper proposes for the first time a novel skeleton detection paradigm where depth images serve as the dominant modality and RGB images act as the auxiliary, and accordingly presents a model DDSkel (short for Depth-Dominant Skeleton Detection) under this paradigm. DDSkel employs an asymmetric encoder design to fuse RGB information into depth features, with the RGB modality branch having only 12% the parameters of the depth modality branch. DDSkel has a simple structure without intricate designs. Nevertheless, with only 36% of the trainable parameters of the current best method, DDSkel outperforms all state-of-the-art approaches on SymPASCAL, the most challenging dataset with a large volume of complex images.