Instance-Aware Knowledge Distillation for Semi-Supervised Learning of an On-Board Multi-Task Dense Prediction Model for Collision Avoidance System
作者: Gyutae Hwang, Sang Jun Lee
分类: cs.CV
发布日期: 2026-06-15
备注: 13 pages, 7 figures
💡 一句话要点
提出实例感知知识蒸馏以解决半监督学习中的碰撞避免问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 碰撞避免 知识蒸馏 半监督学习 实例分割 边缘计算 自动导引车 深度学习
📋 核心要点
- 现有的碰撞避免系统在边缘环境中部署面临计算资源不足和通信不可靠的问题，限制了其应用。
- 本文提出了一种实例感知知识蒸馏框架，通过生成伪标签来减轻教师模型的偏差，从而实现半监督学习。
- 实验结果显示，轻量级学生模型在实例分割上超越教师模型，同时在单目深度估计中保持性能，FLOPs减少22.68倍，参数减少14.33倍。
📝 摘要（中文）
碰撞避免系统已逐步向基于摄像头的深度学习方法发展，以理解驾驶场景。然而，在如乡村俱乐部等边缘环境中的部署受到计算资源有限和通信基础设施不可靠的限制。此外，构建目标领域的大规模数据集需要大量的标注成本。为了解决这些问题，本文提出了一种实例感知知识蒸馏框架用于半监督学习。具体而言，我们生成伪标签，通过利用教师模型的领域先验和基础模型的实例中心知识来减轻教师偏差。训练后的轻量级学生模型被部署在碰撞避免系统中，实时执行多个密集预测任务。该系统能够检测前方障碍物，并将其空间信息编码为控制器局域网消息，以实现自动导引车的操作。我们构建了一个大规模的乡村俱乐部数据集，并对所提系统进行了现场验证。实验结果表明，学生模型在实例分割任务上优于大型教师模型，同时在单目深度估计中减轻了性能下降。
🔬 方法详解
问题定义：本文旨在解决在边缘计算环境中部署碰撞避免系统时，计算资源有限和数据标注成本高的问题。现有方法在这些环境中难以有效应用。
核心思路：提出实例感知知识蒸馏框架，通过生成伪标签来减轻教师模型的偏差，结合领域先验和实例中心知识以提升学生模型的学习效果。
技术框架：整体架构包括教师模型和学生模型的协同工作，教师模型提供领域知识，学生模型通过伪标签进行训练。系统实时执行多个密集预测任务，检测障碍物并生成控制信号。
关键创新：最重要的创新在于实例感知知识蒸馏的实现，通过结合教师模型的知识和基础模型的实例信息，显著提升了学生模型的性能，尤其是在实例分割任务上。
关键设计：在模型设计中，采用了轻量级网络结构，设置了适当的损失函数以平衡教师与学生之间的知识传递，同时优化了模型参数以减少计算复杂度。实验中，学生模型在低成本边缘设备上实现了6.46 FPS的实时性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，轻量级学生模型在实例分割任务上超越了大型教师模型，同时在单目深度估计中保持了性能，FLOPs减少22.68倍，参数减少14.33倍，且在低成本边缘设备上实现了6.46 FPS的实时处理能力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过在边缘计算环境中有效部署碰撞避免系统，可以显著提升自动导引车的安全性和效率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Collision avoidance systems have evolved toward camera-based deep learning approaches for driving scene understanding. However, deployment in edge environments such as country clubs is constrained by limited computational resources and unreliable communication infrastructure. Moreover, constructing large-scale datasets for the target domain involves substantial annotation cost. To address these limitations, we propose an instance-aware knowledge distillation framework for semi-supervised learning. Specifically, we generate pseudo labels that mitigate teacher bias by leveraging domain priors from the teacher and instance-centric knowledge from foundation models. The trained lightweight student is deployed in the proposed collision avoidance system and performs multiple dense prediction tasks in real-time. The system detects frontal obstacles and encodes their spatial information into controller area network messages for automated guided vehicle operation. To achieve this, we construct a large-scale country club dataset and perform field validation of the proposed system. Experimental results demonstrate that the student outperforms the large teacher in instance segmentation while mitigating performance degradation in monocular depth estimation. Compared with the teacher, the student reduces FLOPs by 22.68$\times$ and parameters by 14.33$\times$, achieving 6.46 FPS on a low-cost edge device.