EdgeFM: Leveraging Foundation Model for Open-set Learning on the Edge

📄 arXiv: 2311.10986v3 📥 PDF

作者: Bufang Yang, Lixing He, Neiwen Ling, Zhenyu Yan, Guoliang Xing, Xian Shuai, Xiaozhe Ren, Xin Jiang

分类: cs.LG

发布日期: 2023-11-18 (更新: 2023-11-23)

备注: Accepted to the 21th ACM Conference on Embedded Networked Sensor Systems (SenSys 2023)

💡 一句话要点

提出EdgeFM以解决边缘设备开放集学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 开放集学习 基础模型 动态模型切换 物联网 深度学习

📋 核心要点

  1. 现有深度学习模型在边缘设备上难以泛化，受到资源限制的影响，无法适应多样化的环境和任务。
  2. EdgeFM通过边缘-云协作系统，选择性上传未标记数据并定制边缘模型，解决了资源限制下的开放集学习问题。
  3. 实验结果显示，EdgeFM在多个数据集上实现了34.3%的准确率提升，并将延迟减少至3.2倍，表现优异。

📝 摘要（中文）

深度学习模型在物联网设备上的广泛应用得益于深度学习算法和芯片的进步。然而，边缘设备的资源限制使得这些模型难以在多样化环境和任务中实现良好的泛化能力。尽管新兴的基础模型展现出强大的泛化能力，但如何在资源有限的边缘设备上有效利用这些模型的知识仍未被深入探讨。本文提出了EdgeFM，一个具有开放集识别能力的边缘-云协作系统。EdgeFM选择性地将未标记数据上传至云端查询基础模型，并为边缘模型定制特定知识和架构。同时，EdgeFM在运行时动态切换模型，考虑数据不确定性和网络变化，确保准确性接近原始基础模型。我们在两个边缘平台上实现了EdgeFM，并在三个公共数据集和两个自收集的数据集上进行了评估。结果表明，EdgeFM能够将端到端延迟减少至3.2倍，并实现34.3%的准确率提升。

🔬 方法详解

问题定义：本文旨在解决边缘设备在开放集学习中的泛化能力不足问题，现有方法在资源有限的情况下难以有效利用基础模型的知识。

核心思路：EdgeFM通过边缘-云协作的方式，动态上传未标记数据至云端查询基础模型，并根据具体任务定制边缘模型的知识和架构，从而提升模型的泛化能力。

技术框架：EdgeFM的整体架构包括数据选择模块、云端查询模块和边缘模型定制模块。数据选择模块负责识别和上传未标记数据，云端查询模块利用基础模型进行推理，边缘模型定制模块则根据云端反馈调整边缘模型的结构和参数。

关键创新：EdgeFM的主要创新在于其动态模型切换机制，能够实时根据数据的不确定性和网络状态调整使用的模型，这一设计显著提升了模型在边缘设备上的准确性和响应速度。

关键设计：在模型设计中，EdgeFM采用了特定的损失函数以优化模型在开放集识别中的表现，并在网络结构上进行了定制，以适应边缘设备的资源限制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EdgeFM在三个公共数据集和两个自收集的数据集上，较基线模型实现了34.3%的准确率提升，并将端到端延迟减少至3.2倍，显示出显著的性能优势。

🎯 应用场景

EdgeFM的研究成果具有广泛的应用潜力，特别是在物联网、智能监控和自动驾驶等领域。通过提升边缘设备的学习能力，EdgeFM能够实现更智能的实时决策，推动边缘计算的发展，提升用户体验和系统效率。

📄 摘要（原文）

Deep Learning (DL) models have been widely deployed on IoT devices with the help of advancements in DL algorithms and chips. However, the limited resources of edge devices make these on-device DL models hard to be generalizable to diverse environments and tasks. Although the recently emerged foundation models (FMs) show impressive generalization power, how to effectively leverage the rich knowledge of FMs on resource-limited edge devices is still not explored. In this paper, we propose EdgeFM, a novel edge-cloud cooperative system with open-set recognition capability. EdgeFM selectively uploads unlabeled data to query the FM on the cloud and customizes the specific knowledge and architectures for edge models. Meanwhile, EdgeFM conducts dynamic model switching at run-time taking into account both data uncertainty and dynamic network variations, which ensures the accuracy always close to the original FM. We implement EdgeFM using two FMs on two edge platforms. We evaluate EdgeFM on three public datasets and two self-collected datasets. Results show that EdgeFM can reduce the end-to-end latency up to 3.2x and achieve 34.3% accuracy increase compared with the baseline.