MODIPHY: Multimodal Obscured Detection for IoT using PHantom Convolution-Enabled Faster YOLO

📄 arXiv: 2402.07894v2 📥 PDF

作者: Shubhabrata Mukherjee, Cory Beard, Zhu Li

分类: cs.CV

发布日期: 2024-02-12 (更新: 2024-06-23)

备注: This paper has been accepted for publication at the IEEE International Conference on Image Processing (ICIP) 2024

💡 一句话要点

提出YOLO Phantom以解决低光和遮挡场景下的物体检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物体检测 低光环境 遮挡问题 多模态数据 YOLO模型 幻影卷积 实时性能 物联网

📋 核心要点

  1. 低光和遮挡场景严重影响物体检测的准确性，现有模型在资源受限设备上难以实现实时性能。
  2. 提出YOLO Phantom模型，采用幻影卷积块，显著减少模型参数和大小，同时保持高准确性。
  3. 实验结果显示，YOLO Phantom在热成像和RGB检测中，FPS分别提升了17%和14%，优于YOLOv8n基线模型。

📝 摘要（中文）

在低光和遮挡条件下，物体检测在物联网应用中面临挑战，如自动驾驶和安全系统。尽管先进的机器学习模型追求准确性，但其计算需求与资源受限设备的限制相冲突，影响实时性能。本研究提出了YOLO Phantom，这是迄今为止最小的YOLO模型之一。YOLO Phantom利用新颖的幻影卷积块，达到了与最新YOLOv8n模型相当的准确性，同时减少了43%的参数和模型大小，显著降低了19%的浮点运算量。该模型通过在多模态RGB-红外数据集上进行迁移学习，增强了在不利条件下的视觉能力，并在IoT平台上展示了其实际效果，连接到基于AWS的通知端点，实现高效的实时物体检测。

🔬 方法详解

问题定义：本论文旨在解决在低光和遮挡条件下物体检测的准确性问题。现有的物体检测模型在资源受限的物联网设备上难以实现实时性能，尤其是在复杂环境中。

核心思路：论文提出了YOLO Phantom模型，采用幻影卷积块以减少模型的参数和大小，同时保持与最新YOLOv8n模型相当的准确性。这种设计旨在提高模型在低光和遮挡场景下的鲁棒性。

技术框架：YOLO Phantom的整体架构包括幻影卷积块、迁移学习模块和多模态数据处理。模型通过在RGB-红外数据集上进行训练，增强了在不利条件下的视觉能力，并通过AWS平台实现实时检测。

关键创新：YOLO Phantom的主要创新在于引入幻影卷积块，这一设计显著减少了模型的计算复杂度和存储需求，使其成为最小的YOLO模型之一。与现有方法相比，YOLO Phantom在保持准确性的同时，显著降低了计算负担。

关键设计：在模型设计中，采用了特定的参数设置和损失函数，以优化低光和遮挡条件下的检测性能。网络结构经过精简，确保在资源受限设备上也能高效运行。具体的参数和结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，YOLO Phantom在热成像和RGB检测中，FPS分别提升了17%和14%，显著优于YOLOv8n基线模型。此外，模型参数和大小减少了43%，浮点运算量降低了19%，展现出卓越的性能和效率。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、安防监控和智能家居等物联网场景。YOLO Phantom模型的高效性和准确性使其能够在复杂环境中实时检测物体，提升安全性和用户体验。未来，该技术有望在更多低光和遮挡条件下的应用中发挥重要作用。

📄 摘要（原文）

Low-light conditions and occluded scenarios impede object detection in real-world Internet of Things (IoT) applications like autonomous vehicles and security systems. While advanced machine learning models strive for accuracy, their computational demands clash with the limitations of resource-constrained devices, hampering real-time performance. In our current research, we tackle this challenge, by introducing ``YOLO Phantom", one of the smallest YOLO models ever conceived. YOLO Phantom utilizes the novel Phantom Convolution block, achieving comparable accuracy to the latest YOLOv8n model while simultaneously reducing both parameters and model size by 43\%, resulting in a significant 19\% reduction in Giga Floating-Point Operations (GFLOPs). YOLO Phantom leverages transfer learning on our multimodal RGB-infrared dataset to address low-light and occlusion issues, equipping it with robust vision under adverse conditions. Its real-world efficacy is demonstrated on an IoT platform with advanced low-light and RGB cameras, seamlessly connecting to an AWS-based notification endpoint for efficient real-time object detection. Benchmarks reveal a substantial boost of 17\% and 14\% in frames per second (FPS) for thermal and RGB detection, respectively, compared to the baseline YOLOv8n model. For community contribution, both the code and the multimodal dataset are available on GitHub.