When Smaller Wins: Dual-Stage Distillation and Pareto-Guided Compression of Liquid Neural Networks for Edge Battery Prognostics

📄 arXiv: 2601.06227 📥 PDF

作者: Dhivya Dharshini Kannan, Wei Li, Wei Zhang, Jianbiao Wang, Zhi Wei Seh, Man-Fai Ng

分类: cs.LG, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出DLNet框架以优化边缘设备电池健康预测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 电池健康预测 液态神经网络 知识蒸馏 模型压缩 边缘计算 帕累托优化 实时预测

📋 核心要点

  1. 现有电池健康预测方法在边缘设备上面临性能和资源的双重限制，难以满足实时性和准确性要求。
  2. DLNet框架通过双阶段蒸馏和帕累托引导选择，优化了液态神经网络的模型压缩，提升了边缘设备的预测能力。
  3. 实验结果显示，DLNet在Arduino Nano 33 BLE Sense上实现了84.7%的模型大小减少和21毫秒的推理时间，显著提升了性能。

📝 摘要（中文）

随着电池管理系统对电池健康预测的需求日益增加，尤其是在严格的设备约束下，本文提出了DLNet框架，该框架通过双阶段蒸馏液态神经网络，将高容量模型转化为紧凑且适合边缘部署的模型。DLNet首先应用欧拉离散化重新构造液态动力学，以实现嵌入式兼容性。接着，通过双阶段知识蒸馏转移教师模型的时间行为，并在进一步压缩后恢复。通过在联合误差-成本目标下的帕累托引导选择，保留了在准确性和效率之间取得平衡的学生模型。实验结果表明，最终部署的学生模型在预测未来100个周期的电池健康时，误差为0.0066，比教师模型低15.4%。

🔬 方法详解

问题定义：本文旨在解决在边缘设备上进行电池健康预测时，现有方法在准确性和资源消耗之间的矛盾，尤其是在严格的硬件限制下，难以实现高效的实时预测。

核心思路：DLNet框架通过双阶段知识蒸馏，将高容量的液态神经网络转化为小型且高效的模型，利用帕累托优化在准确性和效率之间找到最佳平衡。

技术框架：DLNet的整体架构包括两个主要阶段：首先进行欧拉离散化以适应嵌入式系统，然后通过双阶段蒸馏转移知识，最后通过帕累托引导选择优化模型。

关键创新：最重要的创新在于结合了双阶段蒸馏与帕累托优化，使得小模型在边缘设备上能够在准确性上匹配甚至超越大模型，突破了传统模型压缩的局限。

关键设计：在模型设计中，采用了特定的损失函数来平衡蒸馏过程中的时间行为转移和模型压缩，同时在选择学生模型时引入了帕累托前沿的概念，以确保最终模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DLNet在Arduino Nano 33 BLE Sense上实现了84.7%的模型大小减少，从616 kB降至94 kB，同时在预测电池健康时，误差降低至0.0066，比教师模型低15.4%。该模型在设备上的推理时间为21毫秒，展现了优异的实时性能。

🎯 应用场景

DLNet框架不仅适用于电池健康预测，还可以扩展到其他工业分析任务，尤其是在资源受限的边缘计算环境中。其高效的模型压缩和准确的预测能力将推动智能设备的广泛应用，提升各类监测系统的性能。

📄 摘要（原文）

Battery management systems increasingly require accurate battery health prognostics under strict on-device constraints. This paper presents DLNet, a practical framework with dual-stage distillation of liquid neural networks that turns a high-capacity model into compact and edge-deployable models for battery health prediction. DLNet first applies Euler discretization to reformulate liquid dynamics for embedded compatibility. It then performs dual-stage knowledge distillation to transfer the teacher model's temporal behavior and recover it after further compression. Pareto-guided selection under joint error-cost objectives retains student models that balance accuracy and efficiency. We evaluate DLNet on a widely used dataset and validate real-device feasibility on an Arduino Nano 33 BLE Sense using int8 deployment. The final deployed student achieves a low error of 0.0066 when predicting battery health over the next 100 cycles, which is 15.4% lower than the teacher model. It reduces the model size from 616 kB to 94 kB with 84.7% reduction and takes 21 ms per inference on the device. These results support a practical smaller wins observation that a small model can match or exceed a large teacher for edge-based prognostics with proper supervision and selection. Beyond batteries, the DLNet framework can extend to other industrial analytics tasks with strict hardware constraints.