Dynamic Prototype Adaptation with Distillation for Few-shot Point Cloud Segmentation

📄 arXiv: 2401.16051v1 📥 PDF

作者: Jie Liu, Wenzhe Yin, Haochen Wang, Yunlu CHen, Jan-Jakob Sonke, Efstratios Gavves

分类: cs.CV

发布日期: 2024-01-29

备注: Accepted in 3DV2024, code is available at https://github.com/jliu4ai/DPA

🔗 代码/项目: GITHUB

💡 一句话要点

提出动态原型适应方法以解决少样本点云分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 少样本学习 点云分割 动态原型 蒸馏训练 计算机视觉

📋 核心要点

  1. 现有的基于原型的少样本点云分割方法在支持原型与查询特征存在显著变化时表现不佳，导致分割效果不理想。
  2. 本文提出动态原型适应（DPA），通过原型校正和查询特征的上下文提取，针对每个查询点云学习任务特定的原型。
  3. 在S3DIS和ScanNet基准上，DPA在2-way 1-shot设置下分别提升了7.43%和6.39%的分割性能，显示出显著的效果提升。

📝 摘要（中文）

少样本点云分割旨在利用少量标注的点云生成未见类别的每点掩膜。现有基于原型的方法在支持原型与查询特征之间存在显著物体变化时面临挑战。本文提出动态原型适应（DPA），为每个查询点云显式学习任务特定的原型，以解决物体变化问题。DPA通过原型校正和原型到查询的注意力机制实现适应。此外，引入原型蒸馏正则化项，促进早期原型与深层原型之间的知识转移。通过迭代应用这些适应，生成任务特定的原型以提高查询点云的掩膜预测准确性。大量实验表明，DPA在两个流行基准上显著超越了现有方法。

🔬 方法详解

问题定义：本文旨在解决少样本点云分割中，支持原型与查询特征之间存在显著变化时的分割准确性问题。现有方法在处理这种变化时效果不佳，导致分割结果不理想。

核心思路：提出动态原型适应（DPA）方法，通过为每个查询点云显式学习任务特定的原型，来应对物体变化问题。该方法通过原型校正和原型到查询的注意力机制，增强了对查询特征的适应性。

技术框架：DPA的整体架构包括原型校正模块、查询特征提取模块和原型蒸馏模块。首先，通过原型校正对支持原型进行调整，然后提取查询点云的上下文信息，最后通过蒸馏机制实现知识的转移与融合。

关键创新：DPA的核心创新在于动态适应原型的能力，使得每个查询点云都能获得针对性的原型。这一设计与传统方法的静态原型使用形成鲜明对比，显著提升了分割性能。

关键设计：在损失函数中引入了原型蒸馏正则化项，以促进早期原型与深层原型之间的知识转移。此外，网络结构采用了多层次特征提取，以增强对复杂场景的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在S3DIS和ScanNet数据集上，DPA方法在2-way 1-shot设置下分别实现了7.43%和6.39%的性能提升，显著超越了现有的最先进方法，展示了其在少样本点云分割任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够有效提升对复杂环境中物体的识别和分割能力。未来，DPA方法可能在更广泛的计算机视觉任务中得到应用，推动相关技术的发展。

📄 摘要（原文）

Few-shot point cloud segmentation seeks to generate per-point masks for previously unseen categories, using only a minimal set of annotated point clouds as reference. Existing prototype-based methods rely on support prototypes to guide the segmentation of query point clouds, but they encounter challenges when significant object variations exist between the support prototypes and query features. In this work, we present dynamic prototype adaptation (DPA), which explicitly learns task-specific prototypes for each query point cloud to tackle the object variation problem. DPA achieves the adaptation through prototype rectification, aligning vanilla prototypes from support with the query feature distribution, and prototype-to-query attention, extracting task-specific context from query point clouds. Furthermore, we introduce a prototype distillation regularization term, enabling knowledge transfer between early-stage prototypes and their deeper counterparts during adaption. By iteratively applying these adaptations, we generate task-specific prototypes for accurate mask predictions on query point clouds. Extensive experiments on two popular benchmarks show that DPA surpasses state-of-the-art methods by a significant margin, e.g., 7.43\% and 6.39\% under the 2-way 1-shot setting on S3DIS and ScanNet, respectively. Code is available at https://github.com/jliu4ai/DPA.