Simulating Battery-Powered TinyML Systems Optimised using Reinforcement Learning in Image-Based Anomaly Detection

📄 arXiv: 2403.05106v2 📥 PDF

作者: Jared M. Ping, Ken J. Nixon

分类: cs.LG

发布日期: 2024-03-08 (更新: 2024-04-10)

备注: Accepted as a full paper by the tinyML Research Symposium 2024

💡 一句话要点

提出基于强化学习的TinyML系统优化方案以提升电池续航

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: TinyML 强化学习 电池优化 图像异常检测 物联网 智能农业 能耗管理

📋 核心要点

  1. 现有方法在电池供电的TinyML系统中未能有效优化能耗，限制了其在实际应用中的表现。
  2. 本文提出利用强化学习算法优化图像异常检测IoT系统的电池管理，以延长设备的续航时间。
  3. 实验结果显示，采用强化学习的系统在电池寿命上相比静态和动态优化方法分别提升了22.86%和10.86%。

📝 摘要（中文）

Tiny机器学习（TinyML）的进展促进了智能工业解决方案的创建，包括智能农业、医疗保健和智慧城市。尽管相关研究为在受限硬件上实现TinyML解决方案做出了贡献，但在电池供电系统中优化能耗以增强实际应用仍然是一个挑战。本文扩展了TinyML研究，通过优化电池供电的图像异常检测物联网（IoT）系统，利用强化学习（RL）算法来改善系统的电池寿命。研究表明，与静态和动态优化方法相比，采用RL的系统在电池寿命上分别提高了22.86%和10.86%。该方案适用于资源受限的硬件，内存占用仅为800 B，进一步促进了系统在智能农业等关键领域的实际部署。

🔬 方法详解

问题定义：本文旨在解决在电池供电的TinyML系统中，现有方法未能有效优化能耗的问题，导致设备续航时间不足，影响实际应用。

核心思路：通过引入强化学习（RL）算法，优化图像异常检测IoT系统的操作管理，旨在提升电池续航能力。该设计能够动态调整系统资源使用，以适应不同的工作负载。

技术框架：整体架构包括数据采集模块、RL优化模块和电池管理模块。数据采集模块负责获取图像数据，RL优化模块根据实时反馈调整系统参数，而电池管理模块则监控电池状态并优化能耗。

关键创新：最重要的创新在于将强化学习应用于TinyML系统的电池管理，显著提高了电池寿命。这与传统的静态和动态优化方法相比，提供了更灵活和智能的解决方案。

关键设计：在设计中，RL算法的参数设置经过精心调整，以确保在不同的工作场景下都能有效运行。损失函数的选择也考虑了电池使用效率与系统性能之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用强化学习的TinyML系统在电池寿命上相比静态优化方法提高了22.86%，相比动态优化方法提高了10.86%。这一显著提升展示了强化学习在电池管理中的有效性，为未来的智能设备设计提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括智能农业、医疗监测和智慧城市等，能够在资源受限的环境中实现高效的图像处理和异常检测。通过优化电池续航，能够使这些系统在实际应用中更具可行性，推动智能设备的广泛部署。

📄 摘要（原文）

Advances in Tiny Machine Learning (TinyML) have bolstered the creation of smart industry solutions, including smart agriculture, healthcare and smart cities. Whilst related research contributes to enabling TinyML solutions on constrained hardware, there is a need to amplify real-world applications by optimising energy consumption in battery-powered systems. The work presented extends and contributes to TinyML research by optimising battery-powered image-based anomaly detection Internet of Things (IoT) systems. Whilst previous work in this area has yielded the capabilities of on-device inferencing and training, there has yet to be an investigation into optimising the management of such capabilities using machine learning approaches, such as Reinforcement Learning (RL), to improve the deployment battery life of such systems. Using modelled simulations, the battery life effects of an RL algorithm are benchmarked against static and dynamic optimisation approaches, with the foundation laid for a hardware benchmark to follow. It is shown that using RL within a TinyML-enabled IoT system to optimise the system operations, including cloud anomaly processing and on-device training, yields an improved battery life of 22.86% and 10.86% compared to static and dynamic optimisation approaches respectively. The proposed solution can be deployed to resource-constrained hardware, given its low memory footprint of 800 B, which could be further reduced. This further facilitates the real-world deployment of such systems, including key sectors such as smart agriculture.