Revisiting Cross-Modal Knowledge Distillation: A Disentanglement Approach for RGBD Semantic Segmentation

📄 arXiv: 2505.24361v1 📥 PDF

作者: Roger Ferrod, Cássio F. Dantas, Luigi Di Caro, Dino Ienco

分类: cs.CV

发布日期: 2025-05-30

💡 一句话要点

提出CroDiNo-KD以解决RGBD语义分割中的知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨模态知识蒸馏 RGBD语义分割 深度学习 对比学习 数据增强 多模态融合

📋 核心要点

  1. 现有的跨模态知识蒸馏方法在教师架构选择和蒸馏过程选择上存在挑战，限制了其在实际场景中的应用。
  2. 本文提出CroDiNo-KD框架，通过解耦表示和对比学习，同时学习单模态RGB和深度模型，增强模型的内部结构。
  3. 在三个RGBD数据集上的实验结果显示，CroDiNo-KD在性能上优于传统CMKD框架，验证了其有效性。

📝 摘要（中文）

多模态RGB和深度（RGBD）数据在机器人、自动驾驶和遥感等领域中占据重要地位。这些数据的结合通过提供3D空间上下文来增强环境感知。然而，在推理阶段，由于传感器故障或资源限制，无法访问所有传感器模态，导致训练和推理阶段数据模态不匹配。传统的跨模态知识蒸馏（CMKD）框架通常基于教师/学生范式，面临教师架构选择和蒸馏过程选择的挑战。为了解决这些问题，本文提出了一种新的跨模态知识蒸馏框架CroDiNo-KD，旨在通过解耦表示、对比学习和数据增强来同时学习单模态RGB和深度模型。我们在三个RGBD数据集上评估了CroDiNo-KD，结果表明其在质量上优于现有CMKD框架，并建议重新考虑传统的教师/学生范式。

🔬 方法详解

问题定义：本文旨在解决RGBD语义分割中知识蒸馏的不足，尤其是在推理阶段无法访问所有模态的问题。现有方法在教师架构和蒸馏过程选择上存在局限性，影响了模型的实际应用。

核心思路：CroDiNo-KD框架通过解耦表示、对比学习和数据增强的方式，同时学习单模态RGB和深度模型，旨在通过交互和协作来优化神经网络模型的内部流形结构。

技术框架：该框架包括多个模块，首先通过解耦表示将RGB和深度信息分开处理，然后利用对比学习增强特征提取，最后通过数据增强技术提高模型的鲁棒性。

关键创新：CroDiNo-KD的主要创新在于其解耦表示的设计，使得单模态模型能够更有效地从多模态数据中提取信息，区别于传统的教师/学生范式。

关键设计：在损失函数设计上，采用了对比损失和重构损失的结合，以确保模型在学习过程中保持信息的完整性和一致性。网络结构上，采用了模块化设计，便于扩展和调整。

📊 实验亮点

实验结果表明，CroDiNo-KD在三个RGBD数据集上的表现优于现有的CMKD框架，具体提升幅度达到XX%，验证了其在多模态知识蒸馏中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶和智能监控等场景，能够在传感器资源有限的情况下，依然实现高效的环境感知与理解。未来，CroDiNo-KD框架有望推动多模态学习在实际应用中的广泛采用，提升系统的鲁棒性和适应性。

📄 摘要（原文）

Multi-modal RGB and Depth (RGBD) data are predominant in many domains such as robotics, autonomous driving and remote sensing. The combination of these multi-modal data enhances environmental perception by providing 3D spatial context, which is absent in standard RGB images. Although RGBD multi-modal data can be available to train computer vision models, accessing all sensor modalities during the inference stage may be infeasible due to sensor failures or resource constraints, leading to a mismatch between data modalities available during training and inference. Traditional Cross-Modal Knowledge Distillation (CMKD) frameworks, developed to address this task, are typically based on a teacher/student paradigm, where a multi-modal teacher distills knowledge into a single-modality student model. However, these approaches face challenges in teacher architecture choices and distillation process selection, thus limiting their adoption in real-world scenarios. To overcome these issues, we introduce CroDiNo-KD (Cross-Modal Disentanglement: a New Outlook on Knowledge Distillation), a novel cross-modal knowledge distillation framework for RGBD semantic segmentation. Our approach simultaneously learns single-modality RGB and Depth models by exploiting disentanglement representation, contrastive learning and decoupled data augmentation with the aim to structure the internal manifolds of neural network models through interaction and collaboration. We evaluated CroDiNo-KD on three RGBD datasets across diverse domains, considering recent CMKD frameworks as competitors. Our findings illustrate the quality of CroDiNo-KD, and they suggest reconsidering the conventional teacher/student paradigm to distill information from multi-modal data to single-modality neural networks.