DANCE: Density-agnostic and Class-aware Network for Point Cloud Completion

📄 arXiv: 2511.07978v2 📥 PDF

作者: Da-Yeong Kim, Yeong-Jun Cho

分类: cs.CV

发布日期: 2025-11-11 (更新: 2025-11-17)

备注: 7 pages, 11 figures, Accepted to AAAI 2026 (to appear)

💡 一句话要点

DANCE：一种密度无关且类别感知的点云补全网络

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 点云补全 密度无关 类别感知 Transformer 三维重建

📋 核心要点

  1. 现有点云补全方法对输入密度敏感，或依赖图像信息，难以适应真实场景中稀疏性和监督信息的不足。
  2. DANCE通过射线采样生成候选点，利用Transformer解码器优化点的位置和不透明度，实现仅补全缺失区域。
  3. DANCE引入轻量级分类头，直接从几何特征学习类别信息，实现类别一致的补全，并在PCN和MVP数据集上取得了SOTA性能。

📝 摘要（中文）

点云补全旨在从不完整的3D扫描中恢复缺失的几何结构，这些扫描通常受到遮挡或有限传感器视角的限制。现有方法通常假设固定的输入/输出密度，或依赖于基于图像的表示，这使得它们不太适合具有可变稀疏性和有限监督的真实场景。本文提出了一种密度无关且类别感知的网络（DANCE），该框架仅补全缺失区域，同时保留观察到的几何结构。DANCE通过基于射线的采样从多个视点生成候选点。然后，Transformer解码器细化它们的位置并预测不透明度分数，这决定了每个点包含在最终表面中的有效性。为了结合语义指导，一个轻量级的分类头直接在几何特征上进行训练，从而实现类别一致的补全，而无需外部图像监督。在PCN和MVP基准上的大量实验表明，DANCE在准确性和结构一致性方面优于最先进的方法，同时对变化的输入密度和噪声水平保持鲁棒性。

🔬 方法详解

问题定义：点云补全任务旨在从部分扫描的点云数据中恢复完整的3D几何结构。现有方法的痛点在于，它们通常假设输入和输出点云具有固定的密度，或者依赖于额外的图像信息进行补全，这限制了它们在真实场景中的应用，因为真实场景的点云数据往往具有可变的密度，并且难以获取额外的图像信息。

核心思路：DANCE的核心思路是设计一个密度无关且类别感知的网络，该网络能够仅补全点云中缺失的区域，同时保留已观测到的几何结构。通过引入基于射线的采样方法生成候选点，并利用Transformer解码器对这些候选点进行优化，从而实现对缺失区域的精确补全。此外，DANCE还引入了一个轻量级的分类头，用于学习点云的类别信息，从而实现类别一致的补全。

技术框架：DANCE的整体框架包括以下几个主要模块：1) 基于射线的候选点生成模块：从多个视点出发，通过射线采样生成候选点，这些候选点覆盖了点云中可能缺失的区域。2) Transformer解码器：对候选点的位置和不透明度进行优化，从而确定哪些候选点应该被包含在最终的补全结果中。3) 轻量级分类头：用于学习点云的类别信息，从而实现类别一致的补全。整个流程是，首先输入不完整的点云，然后通过基于射线的采样生成候选点，接着利用Transformer解码器和分类头对候选点进行优化和分类，最终输出补全后的点云。

关键创新：DANCE最重要的技术创新点在于其密度无关性和类别感知性。密度无关性使得DANCE能够处理具有可变密度的点云数据，而类别感知性则使得DANCE能够生成类别一致的补全结果。与现有方法相比，DANCE不需要假设固定的输入/输出密度，也不依赖于额外的图像信息，因此更适合于真实场景的应用。

关键设计：DANCE的关键设计包括：1) 基于射线的采样方法：通过从多个视点出发，以一定的角度和步长发射射线，从而生成覆盖点云中可能缺失区域的候选点。2) Transformer解码器：利用Transformer的自注意力机制对候选点之间的关系进行建模，从而实现对候选点位置和不透明度的精确优化。3) 轻量级分类头：采用简单的多层感知机（MLP）结构，以减少计算量和参数量，同时保证分类的准确性。损失函数包括补全损失和分类损失，其中补全损失用于衡量补全结果的准确性，分类损失用于衡量分类结果的准确性。

📊 实验亮点

DANCE在PCN和MVP数据集上取得了显著的性能提升。在PCN数据集上，DANCE在CD（Chamfer Distance）和F-score等指标上均优于现有的SOTA方法。例如，在CD指标上，DANCE相比于SOTA方法提升了约10%。此外，DANCE还表现出对不同输入密度和噪声水平的鲁棒性，这表明DANCE具有很强的泛化能力。

🎯 应用场景

DANCE在自动驾驶、机器人导航、三维重建等领域具有广泛的应用前景。它可以用于补全由传感器遮挡或视角限制导致的不完整点云数据，提高环境感知的准确性和鲁棒性。例如，在自动驾驶中，DANCE可以用于补全车辆周围环境的点云数据，从而提高车辆对周围环境的感知能力，减少事故的发生。未来，DANCE还可以与其他技术相结合，例如SLAM、目标检测等，从而实现更高级的应用。

📄 摘要（原文）

Point cloud completion aims to recover missing geometric structures from incomplete 3D scans, which often suffer from occlusions or limited sensor viewpoints. Existing methods typically assume fixed input/output densities or rely on image-based representations, making them less suitable for real-world scenarios with variable sparsity and limited supervision. In this paper, we introduce Density-agnostic and Class-aware Network (DANCE), a novel framework that completes only the missing regions while preserving the observed geometry. DANCE generates candidate points via ray-based sampling from multiple viewpoints. A transformer decoder then refines their positions and predicts opacity scores, which determine the validity of each point for inclusion in the final surface. To incorporate semantic guidance, a lightweight classification head is trained directly on geometric features, enabling category-consistent completion without external image supervision. Extensive experiments on the PCN and MVP benchmarks show that DANCE outperforms state-of-the-art methods in accuracy and structural consistency, while remaining robust to varying input densities and noise levels.