Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation

📄 arXiv: 2606.25278v1 📥 PDF

作者: Xiaopei Wu, Yuenan Hou, Junkai Xu, Wenxiao Wang, Binbin Lin, Yu Li, Ping Li, Haifeng Liu, Deng Cai, Wanli Ouyang

分类: cs.CV, cs.AI

发布日期: 2026-06-24

备注: 11 pages

💡 一句话要点

提出异构与高效快照蒸馏方法以提升3D语义分割性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D语义分割 知识蒸馏 多模态融合 模型集成 信息导向过滤 高效快照蒸馏 深度学习

📋 核心要点

  1. 现有的多模态融合和模型集成方法在3D语义分割中表现优秀，但通常依赖额外的输入信号或计算成本高昂。
  2. 本文提出通过知识蒸馏将多模态模型的知识转移至单模态模型，设计信息导向过滤策略以提升多模态教师的性能。
  3. HAS-KD方法在ScanNetV2和S3DIS数据集上实现了最先进的结果，且可无缝集成到现有的3D分割算法中。

📝 摘要（中文）

多模态融合和多模型集成在提升3D语义分割性能方面广泛应用。尽管这些方法表现出色，但通常依赖辅助输入信号或面临高昂的计算开销。为有效提升分割性能而不增加过多成本，本文提出通过知识蒸馏将多模态模型（如点云和图像）及多个模型专家的知识转移至基于点云的网络。我们提出信息导向异构蒸馏（IHD），帮助单模态模型吸收多模态教师的互补知识，并设计信息导向过滤（IOF）策略，从连续图像序列中选择信息丰富的图像进行多模态融合。此外，提出的高效快照蒸馏（ASD）利用训练阶段生成的模型快照作为多个专家，显著降低了模型集成的训练成本。最终，异构与高效快照知识蒸馏（HAS-KD）在ScanNetV2和S3DIS数据集上取得了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决现有3D语义分割方法在多模态融合和模型集成中面临的高计算成本和对辅助输入信号的依赖问题。

核心思路：通过知识蒸馏将多模态模型的丰富知识转移到单模态模型中，利用信息导向过滤策略选择有效图像，从而提升分割性能。

技术框架：整体架构包括信息导向异构蒸馏（IHD）和高效快照蒸馏（ASD）两个主要模块。IHD用于知识转移，ASD则利用训练阶段的模型快照作为多个专家进行监督。

关键创新：最重要的创新在于提出了信息导向过滤策略和高效快照蒸馏方法，前者提升了多模态教师的性能，后者显著降低了模型集成的训练成本。

关键设计：在设计中，信息导向过滤策略通过选择信息丰富的图像来增强多模态融合效果，而ASD则通过利用训练过程中生成的快照来减少训练时间和资源消耗。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HAS-KD在ScanNetV2和S3DIS数据集上达到了最先进的性能，相较于基线方法，分割精度显著提升，具体提升幅度未知。该方法在不增加额外推理负担的情况下，能够有效集成到现有的3D分割算法中。

🎯 应用场景

该研究在3D语义分割领域具有广泛的应用潜力，尤其是在自动驾驶、机器人导航和增强现实等场景中。通过提升分割性能，能够更好地理解和处理复杂的三维环境，进而推动相关技术的进步和应用落地。

📄 摘要（原文）

Multi-modal fusion and multi-model ensembling are prevalent in enhancing the performance of 3D semantic segmentation. Despite the impressive performance, these methods either rely on auxiliary input signals or suffer from costly computational expense. To efficaciously enhance the segmentation performance without introducing intolerable costs, we propose to transfer the rich knowledge from the multi-modal model (i.e., point clouds and images) and multiple model experts to the point-cloudbased network through knowledge distillation. Specifically, we present Information-oriented Heterogeneous Distillation (IHD) to help the uni-modal model absorb the complementary knowledge from the multi-modal teacher. We design the Information-Oriented Filtering (IOF) strategy to select informative images from the continuous image sequence for multi-modal fusion. This practice can boost the performance of the multi-modal teacher, thus benefiting the learning of the student. Besides, as opposed to vanilla model ensembling that requires the separate training of each expert, we propose Adept Snapshot Distillation (ASD). ASD treats the freely available model snapshots generated during the training phase as multiple experts, which significantly reduces the training cost for model ensembling. For each expert teacher, it only provides supervision to the student in the class where it is adept. The resulting Heterogeneous and Adept Snapshot Knowledge Distillation, dubbed HAS-KD, attains state-of-the-art results on ScanNetV2 and S3DIS datasets. HAS-KD can be seamlessly integrated into contemporary 3D segmentation algorithms and bring considerable gains without introducing extra inference burdens. The code will be made publicly available upon publication.