HumP-KD: A Hybrid Uncertainty-Aware Multi-Stage Progressive Knowledge Distillation Framework for Efficient Fire Classification

📄 arXiv: 2606.14684v1 📥 PDF

作者: Mohammed Arif Mainuddin, Najifa Tabassum, Omar Ibne Shahid, Riasat Khan

分类: cs.CV, cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出HumP-KD框架以提高火灾分类的效率与准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 火灾分类 知识蒸馏 不确定性感知 多阶段学习 深度学习 轻量模型 实时监测

📋 核心要点

  1. 现有火灾分类方法在准确性和计算效率之间存在矛盾，难以在资源受限的硬件上有效部署。
  2. HumP-KD框架通过混合不确定性感知和多阶段知识蒸馏，优化了从教师模型到学生模型的知识转移过程。
  3. 在Dataset-II上，HumP-KD的平均F1分数为0.9876，显著高于未经过蒸馏的MobileViT-S基线，且模型参数大幅减少。

📝 摘要（中文）

实时火灾分类系统需要在准确性、计算效率和资源受限硬件上的可部署性之间取得平衡。本文提出了HumP-KD，一个混合不确定性感知的多阶段渐进知识蒸馏框架，以实现高效的火灾分类。研究使用了两个数据集，FlameVision和Dataset-II，分别包含8600张和31309张图像。在标准预处理、在线增强、加性高斯噪声和运动模糊鲁棒性条件下，应用了多种CNN和变换器基线。HumP-KD模型从两个冻结的异构变换器教师（Swin-Tiny和ViT-Base）及其Meta-MLP集成中蒸馏知识，最终生成一个轻量级的MobileViT-S学生模型。实验结果表明，HumP-KD在Dataset-II上实现了0.9876的平均F1分数，显著优于未经过蒸馏的MobileViT-S基线。

🔬 方法详解

问题定义：本文旨在解决实时火灾分类系统在准确性、计算效率和资源受限硬件上的部署问题。现有方法往往在这三者之间难以取得平衡，导致实际应用受限。

核心思路：HumP-KD框架通过混合不确定性感知和多阶段渐进知识蒸馏，旨在高效地将知识从多个教师模型转移到一个轻量级的学生模型中，从而提高分类性能和效率。

技术框架：HumP-KD框架包含三个主要模块：层次渐进知识蒸馏、层次特征构建器和多阶段知识蒸馏。层次特征构建器生成融合的空间注意力掩码，以引导蒸馏过程聚焦于重要特征区域。多阶段知识蒸馏则在训练过程中逐步激活不同的蒸馏阶段。

关键创新：最重要的创新在于通过层次特征构建器生成的空间注意力掩码，能够有效引导知识蒸馏过程，确保学生模型在学习过程中关注到更具判别性的特征区域。这一设计与传统的知识蒸馏方法有本质区别。

关键设计：HumP-KD的学生模型MobileViT-S仅保留4.94M的参数和19.01Mb的模型大小，相较于Swin-Tiny和ViT-Base分别减少了5.7倍和17.5倍，同时在CPU上实现了37.72帧每秒的处理速度，适合实时部署。损失函数和参数设置经过精心设计，以确保蒸馏过程的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HumP-KD在Dataset-II上实现了平均F1分数0.9876，显著优于未经过蒸馏的MobileViT-S基线（0.9537），并且通过独立t检验和Wilcoxon符号秩检验确认了结果的统计显著性。此外，模型的参数量和大小大幅减少，使其适合实时应用。

🎯 应用场景

该研究的潜在应用领域包括智能监控、消防安全和无人机火灾检测等。通过提高火灾分类的准确性和效率，HumP-KD框架能够在资源受限的环境中实现实时火灾监测，具有重要的实际价值和社会影响。

📄 摘要（原文）

Real-time fire classification systems require models that are simultaneously accurate, computationally efficient, and deployable on resource-constrained hardware. This work proposes \textbf{HumP-KD}, a Hybrid Uncertainty-aware Multi-stage Progressive Knowledge Distillation framework for efficient fire classification. Two datasets, FlameVision and Dataset-II, containing 8,600 and 31,309 images, are used. Various CNN and transformer baselines are applied under standard preprocessing, online augmentation, Gaussian noise and motion blur robustness conditions. The proposed HumP-KD model distills knowledge from two frozen heterogeneous transformer teachers, Swin-Tiny and ViT-Base, along with their Meta-MLP ensemble, into a lightweight MobileViT-S student via three tightly integrated components. Hierarchical Progressive Knowledge Distillation employs a Hierarchical Feature Builder. It generates a fused spatial attention mask to guide distillation toward discriminative regions selectively. Multi-Stage Knowledge Distillation progressively activates three distillation stages across training. On Dataset-II, HumP-KD achieves a mean F1 score of $0.9876 \pm 0.0063$ across 10 independent trials, significantly outperforming the MobileViT-S baseline trained without distillation ($0.9537 \pm 0.0351$), with statistical significance confirmed by both independent t-test ($p = 0.0195$) and Wilcoxon signed-rank test ($W = 1$, $p = 0.0039$). The proposed method also demonstrates strong generalization across datasets and robustness under degraded visual conditions. The student model retains only 4.94M parameters and 19.01Mb model size, representing a $5.7\times$ parameter reduction over Swin-Tiny and a $17.5\times$ reduction over ViT-Base, while achieving 37.72 CPU FPS, making it suitable for real-time deployment.