Towards Compact 3D Representations via Point Feature Enhancement Masked Autoencoders

📄 arXiv: 2312.10726v1 📥 PDF

作者: Yaohua Zha, Huizhen Ji, Jinmin Li, Rongsheng Li, Tao Dai, Bin Chen, Zhi Wang, Shu-Tao Xia

分类: cs.CV

发布日期: 2023-12-17

备注: Accepted to AAAI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Point-FEMAE，通过点特征增强的掩码自编码器实现紧凑的3D点云表示学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 点云表示学习 掩码自编码器 3D表示 Transformer 局部特征增强

📋 核心要点

  1. 单模态点云MAE方法因全局随机掩码易导致3D表示能力不足，限制了其在实际应用中的性能。
  2. Point-FEMAE通过全局和局部分支提取点云特征，并引入局部增强模块来感知细粒度的局部上下文。
  3. 实验表明，Point-FEMAE在ScanObjectNN数据集上显著优于基线方法Point-MAE，验证了其有效性。

📝 摘要（中文）

本文提出了一种用于点云的紧凑3D表示学习方法，称为点特征增强掩码自编码器(Point-FEMAE)。针对基于掩码自编码器的点云预训练方法中，单模态方法因全局随机掩码输入而导致3D表示能力受限的问题，Point-FEMAE设计了一个包含全局分支和局部分支的网络结构来捕获潜在的语义特征。具体而言，通过全局随机和局部块掩码策略获得未掩码的点云块，并使用共享参数的Transformer编码器提取点特征，然后使用特定的解码器进行重建，从而学习更紧凑的特征。此外，为了进一步增强局部分支的特征，提出了一个局部增强模块，利用局部块卷积在大尺度上感知细粒度的局部上下文。实验结果表明，该方法显著提高了预训练效率，并在ScanObjectNN的三个变体上分别超越了基线方法Point-MAE 5.16%、5.00%和5.04%，展示了其优越的性能。

🔬 方法详解

问题定义：现有单模态点云掩码自编码器方法，特别是基于全局随机掩码的方法，在学习3D表示时容易受到限制，无法充分捕捉点云的局部结构和语义信息，导致表示能力不足。这限制了它们在下游任务中的性能。

核心思路：Point-FEMAE的核心思路是通过结合全局随机掩码和局部块掩码策略，以及引入局部特征增强模块，来更有效地学习点云的紧凑3D表示。全局分支负责捕捉全局结构信息，局部分支则关注细粒度的局部上下文，二者结合可以提升整体的表示能力。共享参数的Transformer编码器保证了全局和局部特征的一致性。

技术框架：Point-FEMAE主要包含三个部分：全局分支、局部分支和解码器。首先，对输入点云分别应用全局随机掩码和局部块掩码，得到未掩码的全局和局部点云块。然后，使用共享参数的Transformer编码器分别提取全局和局部特征。局部分支中，使用局部增强模块进一步增强局部特征。最后，使用特定的解码器对编码后的特征进行重建。

关键创新：Point-FEMAE的关键创新在于以下两点：一是同时使用全局随机掩码和局部块掩码，使得模型能够同时学习全局结构和局部细节；二是引入局部增强模块，通过局部块卷积在大尺度上感知细粒度的局部上下文，从而增强局部特征的表达能力。

关键设计：局部增强模块采用局部块卷积，卷积核大小和步长等参数需要根据具体任务和数据集进行调整。损失函数通常采用重建误差，例如均方误差（MSE）或Chamfer Distance。Transformer编码器的层数、注意力头数等参数也需要根据模型大小和性能进行权衡。

📊 实验亮点

Point-FEMAE在ScanObjectNN数据集的三个变体上，相较于基线方法Point-MAE，分别取得了5.16%、5.00%和5.04%的性能提升。这些结果表明，Point-FEMAE能够有效地学习点云的紧凑3D表示，并在下游任务中表现出优越的性能。该方法在预训练效率方面也优于跨模态方法。

🎯 应用场景

Point-FEMAE在三维物体识别、场景理解、机器人导航等领域具有广泛的应用前景。通过学习更紧凑和有效的3D点云表示，可以提升相关任务的性能和效率。该方法还可以应用于自动驾驶、增强现实等领域，为这些领域提供更强大的3D感知能力。

📄 摘要（原文）

Learning 3D representation plays a critical role in masked autoencoder (MAE) based pre-training methods for point cloud, including single-modal and cross-modal based MAE. Specifically, although cross-modal MAE methods learn strong 3D representations via the auxiliary of other modal knowledge, they often suffer from heavy computational burdens and heavily rely on massive cross-modal data pairs that are often unavailable, which hinders their applications in practice. Instead, single-modal methods with solely point clouds as input are preferred in real applications due to their simplicity and efficiency. However, such methods easily suffer from limited 3D representations with global random mask input. To learn compact 3D representations, we propose a simple yet effective Point Feature Enhancement Masked Autoencoders (Point-FEMAE), which mainly consists of a global branch and a local branch to capture latent semantic features. Specifically, to learn more compact features, a share-parameter Transformer encoder is introduced to extract point features from the global and local unmasked patches obtained by global random and local block mask strategies, followed by a specific decoder to reconstruct. Meanwhile, to further enhance features in the local branch, we propose a Local Enhancement Module with local patch convolution to perceive fine-grained local context at larger scales. Our method significantly improves the pre-training efficiency compared to cross-modal alternatives, and extensive downstream experiments underscore the state-of-the-art effectiveness, particularly outperforming our baseline (Point-MAE) by 5.16%, 5.00%, and 5.04% in three variants of ScanObjectNN, respectively. The code is available at https://github.com/zyh16143998882/AAAI24-PointFEMAE.