Joint Learning for Scattered Point Cloud Understanding with Hierarchical Self-Distillation

📄 arXiv: 2312.16902v3 📥 PDF

作者: Kaiyue Zhou, Ming Dong, Peiyuan Zhi, Shengjin Wang

分类: cs.CV

发布日期: 2023-12-28 (更新: 2025-03-26)

备注: Published version (early-view) without bios

期刊: IEEE Sensors Journal ( Volume: 25, Issue: 3, 01 February 2025)

DOI: 10.1109/JSEN.2024.3512496

💡 一句话要点

提出基于层级自蒸馏的联合学习框架，提升稀疏点云理解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 点云理解 点云补全 掩码自编码器 层级自蒸馏 联合学习 稀疏点云 三维重建

📋 核心要点

  1. 现有点云理解方法对不完整点云敏感，难以处理扫描缺陷或大间隙。
  2. 提出级联解决方案，联合训练掩码自编码器和下游网络，实现补全与理解互补。
  3. 引入层级自蒸馏，利用深层分类器正则化中间层，提升稀疏点云任务性能。

📝 摘要（中文）

本文提出了一种端到端的架构，用于补偿和识别部分点云。该架构集成了上游的掩码自编码器(MAE)和下游的理解网络，允许下游任务识别由补全任务生成的点。这两个流相互补充，从而提高了补全和下游任务的性能。此外，本文引入了层级自蒸馏(HSD)，它可以应用于任何基于层级的点云方法。HSD确保具有更大感知野和更长编码长度的最深层分类器为中间层提供额外的正则化，从而最大化教师和学生之间的互信息(MI)。该HSD策略特别适用于涉及分散点云的任务，其中由于几何形状的固有不规则性和稀疏性，单个预测可能产生不精确的结果。基于信息瓶颈原理，展示了自蒸馏过程在高维空间中的优势。该方法在分类和部件分割任务上均取得了最先进的结果。

🔬 方法详解

问题定义：现有基于整体的点云理解技术在处理完整点云时表现良好，但对于存在缺陷或较大间隙的残缺点云，性能会显著下降。这些方法通常对点云的稀疏性容忍度有限，难以有效利用不完整的信息进行准确的分类或分割。因此，如何提升模型在稀疏和不规则点云上的理解能力是一个关键问题。

核心思路：本文的核心思路是利用一个联合学习框架，同时进行点云补全和下游理解任务。通过让补全任务（使用掩码自编码器）生成缺失的点，并让下游任务（如分类或分割）学习识别这些生成的点，从而实现两个任务的相互促进。此外，引入层级自蒸馏机制，利用深层网络的全局信息来指导浅层网络的学习，进一步提升模型的鲁棒性和泛化能力。

技术框架：整体架构包含两个主要部分：一个上游的掩码自编码器(MAE)用于点云补全，以及一个下游的点云理解网络（可以是分类或分割网络）。MAE接收部分点云作为输入，并尝试重建被掩盖的点。下游网络接收补全后的点云作为输入，并执行相应的任务。这两个网络通过联合训练进行优化。层级自蒸馏(HSD)被应用于下游网络，其中深层网络的输出作为教师信号，用于指导浅层网络的学习。

关键创新：本文的关键创新在于以下两点：一是将点云补全和下游理解任务进行联合学习，使得两个任务能够相互促进，提升整体性能。二是引入了层级自蒸馏(HSD)策略，利用深层网络的全局信息来指导浅层网络的学习，从而提高模型对稀疏和不规则点云的鲁棒性。HSD确保了深层分类器（具有更大的感受野）能够为中间层提供额外的正则化，而不是简单地聚合多尺度特征。

关键设计：在掩码自编码器(MAE)中，采用了高比例的掩码策略，例如掩盖掉大部分输入点云，迫使模型学习从少量可见点中重建整个形状。在层级自蒸馏(HSD)中，损失函数被设计为最小化深层网络和浅层网络输出之间的差异，例如使用KL散度或MSE损失。下游网络可以采用各种现有的点云处理架构，如PointNet++或DGCNN，并将其中的层级结构用于自蒸馏。

📊 实验亮点

该方法在点云分类和部件分割任务上取得了state-of-the-art的结果。具体来说，在ModelNet40数据集上，分类准确率超过了现有方法，并在ShapeNet Part数据集上，部件分割的平均IoU也得到了显著提升。实验结果表明，联合学习和层级自蒸馏策略能够有效地提升模型在稀疏点云上的理解能力。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、三维重建等领域。在这些场景中，传感器获取的点云数据往往是不完整或存在噪声的。该方法能够有效地补全缺失的点云信息，提高场景理解的准确性和鲁棒性，从而提升自动驾驶车辆或机器人的感知能力和决策能力。此外，该方法还可以应用于医学影像分析，例如从部分扫描的CT或MRI图像中重建完整的三维结构。

📄 摘要（原文）

Numerous point-cloud understanding techniques focus on whole entities and have succeeded in obtaining satisfactory results and limited sparsity tolerance. However, these methods are generally sensitive to incomplete point clouds that are scanned with flaws or large gaps. In this paper, we propose an end-to-end architecture that compensates for and identifies partial point clouds on the fly. First, we propose a cascaded solution that integrates both the upstream masked autoencoder (MAE) and downstream understanding networks simultaneously, allowing the task-oriented downstream to identify the points generated by the completion-oriented upstream. These two streams complement each other, resulting in improved performance for both completion and downstream-dependent tasks. Second, to explicitly understand the predicted points' pattern, we introduce hierarchical self-distillation (HSD), which can be applied to any hierarchy-based point cloud methods. HSD ensures that the deepest classifier with a larger perceptual field of local kernels and longer code length provides additional regularization to intermediate ones rather than simply aggregating the multi-scale features, and therefore maximizing the mutual information (MI) between a teacher and students. The proposed HSD strategy is particularly well-suited for tasks involving scattered point clouds, wherein a singular prediction may yield imprecise outcomes due to the inherently irregular and sparse nature of the geometric shape being reconstructed. We show the advantage of the self-distillation process in the hyperspaces based on the information bottleneck principle. Our method achieves state-of-the-art on both classification and part segmentation tasks.