Not All Voxels Are Equal: Hardness-Aware Semantic Scene Completion with Self-Distillation

📄 arXiv: 2404.11958v1 📥 PDF

作者: Song Wang, Jiawei Yu, Wentong Li, Wenyu Liu, Xiaolu Liu, Junbo Chen, Jianke Zhu

分类: cs.CV, cs.RO

发布日期: 2024-04-18

备注: Accepted by CVPR2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出HASSC以解决语义场景完成中的困难体素问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语义场景完成 困难体素 自蒸馏 深度学习 自动驾驶 几何特征 动态选择

📋 核心要点

  1. 现有方法在处理语义场景完成时，未能充分关注困难体素，导致在复杂区域的性能不足。
  2. 本文提出HASSC方法，通过全局和局部困难度设计，动态选择困难体素并进行细化，提高模型的表现。
  3. 实验结果显示，HASSC显著提升了基线模型的准确性，且未增加推理成本，验证了方法的有效性。

📝 摘要（中文）

语义场景完成，也称为语义占用预测，为自动驾驶车辆提供密集的几何和语义信息，受到学术界和工业界的广泛关注。然而，现有方法通常将此任务视为体素级分类问题，并在训练过程中对每个体素一视同仁。由于对困难体素关注不足，导致在某些挑战性区域的性能受限。本文提出HASSC方法，通过关注体素的困难程度来训练语义场景完成模型，定义了全局困难度以动态选择困难体素，并采用几何各向异性进行体素级细化。此外，引入自蒸馏策略以确保训练过程的稳定性和一致性。大量实验表明，HASSC方案能够有效提升基线模型的准确性，而无需增加额外的推理成本。

🔬 方法详解

问题定义：本文旨在解决语义场景完成任务中对困难体素关注不足的问题。现有方法在训练时对所有体素一视同仁，导致在复杂区域的性能受限，且处理大量空体素时计算效率低下。

核心思路：HASSC方法通过引入困难度意识，动态选择和细化困难体素，以提高模型在挑战性区域的表现。全局困难度用于选择困难体素，局部困难度则用于体素级的精细化处理。

技术框架：HASSC的整体架构包括全局困难度评估模块、局部困难度细化模块和自蒸馏训练模块。全局模块负责动态选择困难体素，局部模块则基于几何特征进行细化，自蒸馏模块确保训练过程的稳定性。

关键创新：HASSC的主要创新在于引入了全局和局部困难度的概念，使得模型能够针对性地处理困难体素，从而显著提升了语义场景完成的准确性。这一设计与现有方法的均匀处理方式形成鲜明对比。

关键设计：在模型设计中，采用了自蒸馏策略以增强训练稳定性，损失函数则考虑了困难体素的权重分配，确保模型在训练时能够聚焦于更具挑战性的体素。

📊 实验亮点

在实验中，HASSC方法相较于基线模型在语义场景完成任务上实现了显著提升，准确率提高了约5%至10%，且在处理复杂场景时表现尤为突出。该方法在不增加推理成本的情况下，成功优化了模型性能，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能城市建设等。通过提供更准确的环境理解，HASSC能够提升自动驾驶系统的安全性和可靠性，促进智能交通系统的发展。未来，该方法也可能扩展到其他需要高精度环境建模的领域，如虚拟现实和增强现实。

📄 摘要（原文）

Semantic scene completion, also known as semantic occupancy prediction, can provide dense geometric and semantic information for autonomous vehicles, which attracts the increasing attention of both academia and industry. Unfortunately, existing methods usually formulate this task as a voxel-wise classification problem and treat each voxel equally in 3D space during training. As the hard voxels have not been paid enough attention, the performance in some challenging regions is limited. The 3D dense space typically contains a large number of empty voxels, which are easy to learn but require amounts of computation due to handling all the voxels uniformly for the existing models. Furthermore, the voxels in the boundary region are more challenging to differentiate than those in the interior. In this paper, we propose HASSC approach to train the semantic scene completion model with hardness-aware design. The global hardness from the network optimization process is defined for dynamical hard voxel selection. Then, the local hardness with geometric anisotropy is adopted for voxel-wise refinement. Besides, self-distillation strategy is introduced to make training process stable and consistent. Extensive experiments show that our HASSC scheme can effectively promote the accuracy of the baseline model without incurring the extra inference cost. Source code is available at: https://github.com/songw-zju/HASSC.