Dual-Perspective Knowledge Enrichment for Semi-Supervised 3D Object Detection

📄 arXiv: 2401.05011v1 📥 PDF

作者: Yucheng Han, Na Zhao, Weiling Chen, Keng Teck Ma, Hanwang Zhang

分类: cs.CV

发布日期: 2024-01-10

备注: Code is available at https://github.com/tingxueronghua/DPKE

💡 一句话要点

提出双视角知识增强方法以解决半监督3D目标检测问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 半监督学习 3D目标检测 知识增强 数据增强 特征匹配 深度学习 计算机视觉

📋 核心要点

  1. 现有的半监督3D目标检测方法在伪标签生成和数据利用上存在不足，导致低质量监督和有限的伪标签数量。
  2. 本文提出的DPKE方法通过数据视角和特征视角增强知识，利用类概率数据增强和几何感知特征匹配来提升模型性能。
  3. 在两个基准数据集上的实验结果显示，DPKE在不同标签比例条件下均优于现有的最先进方法，验证了其有效性。

📝 摘要（中文）

半监督3D目标检测是一种有前景但尚未充分探索的方向，旨在降低数据标注成本，尤其是在杂乱的室内场景中。现有方法如SESS和3DIoUMatch通过教师模型生成伪标签来解决这一任务，但由于3D数据收集的高成本，未标注样本相对有限。此外，SESS中的松散一致性正则化和3DIoUMatch中的伪标签选择策略限制了伪标签的质量和数量。为了解决这些问题，本文提出了一种新颖的双视角知识增强方法DPKE，旨在从数据和特征两个视角丰富有限的训练数据，特别是未标注数据。实验表明，DPKE在不同标签比例条件下的表现优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决半监督3D目标检测中的伪标签生成和数据利用不足的问题。现有方法如SESS和3DIoUMatch在伪标签质量和数量上存在局限，影响了模型的性能。

核心思路：DPKE通过从数据视角和特征视角增强知识，提出类概率数据增强和几何感知特征匹配方法，以提高未标注数据的利用效率和模型的学习能力。

技术框架：DPKE的整体架构包括两个主要模块：数据增强模块和特征匹配模块。数据增强模块通过类概率生成新的数据实例，而特征匹配模块则通过正则化学生模型和教师模型之间的特征相似性来提升特征表达能力。

关键创新：DPKE的主要创新在于同时从数据和特征两个视角进行知识增强，这种双重视角的设计与现有方法的单一视角形成鲜明对比，显著提升了伪标签的质量和数量。

关键设计：在数据增强中，采用类概率分布来生成新的样本；在特征匹配中，设计了几何感知的相似性正则化损失函数，以确保学生和教师模型之间的特征一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DPKE在两个基准数据集上均表现出色，相较于现有最先进方法，提升幅度达到XX%（具体数据待补充），验证了其在不同标签比例条件下的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人导航等需要高效3D目标检测的场景。通过减少对标注数据的依赖，DPKE能够降低数据准备成本，提高模型在复杂环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Semi-supervised 3D object detection is a promising yet under-explored direction to reduce data annotation costs, especially for cluttered indoor scenes. A few prior works, such as SESS and 3DIoUMatch, attempt to solve this task by utilizing a teacher model to generate pseudo-labels for unlabeled samples. However, the availability of unlabeled samples in the 3D domain is relatively limited compared to its 2D counterpart due to the greater effort required to collect 3D data. Moreover, the loose consistency regularization in SESS and restricted pseudo-label selection strategy in 3DIoUMatch lead to either low-quality supervision or a limited amount of pseudo labels. To address these issues, we present a novel Dual-Perspective Knowledge Enrichment approach named DPKE for semi-supervised 3D object detection. Our DPKE enriches the knowledge of limited training data, particularly unlabeled data, from two perspectives: data-perspective and feature-perspective. Specifically, from the data-perspective, we propose a class-probabilistic data augmentation method that augments the input data with additional instances based on the varying distribution of class probabilities. Our DPKE achieves feature-perspective knowledge enrichment by designing a geometry-aware feature matching method that regularizes feature-level similarity between object proposals from the student and teacher models. Extensive experiments on the two benchmark datasets demonstrate that our DPKE achieves superior performance over existing state-of-the-art approaches under various label ratio conditions. The source code will be made available to the public.