Low-Latency Activation-Regularized Sparse Neural Operators with Distillation Assistance Towards Real-Time Edge-Deployable Virtual Sensing

📄 arXiv: 2608.23987v1 📥 PDF

作者: William Howes, Farid Ahmed, Syed Bahauddin Alam

分类: cs.LG

发布日期: 2026-08-25

备注: 37 pages, 14 tables, 7 figures

💡 一句话要点

提出稀疏激活正则化神经算子以解决边缘部署的实时虚拟传感问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 虚拟传感 稀疏激活 神经算子 边缘计算 知识蒸馏 脉冲神经元 能效优化 实时预测

📋 核心要点

  1. 现有的计算和数据驱动方法在边缘部署中面临泛化、延迟和能效等多重挑战，限制了虚拟传感的应用。
  2. 本文提出稀疏激活ReLU（SAR）层，旨在提高激活稀疏性，避免代理梯度训练，同时兼容事件驱动计算。
  3. 在Heat Exchanger数据集上，SAR层和合成知识蒸馏的结合使L2误差降低了两倍以上，显著提升了性能。

📝 摘要（中文）

虚拟传感技术使数字双胞胎和安全关键系统能够实时重建和预测时空物理现象。然而，传统的计算和数据驱动方法在边缘部署中常面临泛化、延迟和能效等挑战。神经算子作为一种有前景的替代方案，但仍依赖于高功耗硬件。脉冲神经元和神经形态计算可以提高效率，但代理梯度训练和多步脉冲引入了收敛和延迟问题。本文提出了稀疏激活ReLU（SAR）层，这是一种单步替代方案，促进激活稀疏性而无需代理梯度训练，同时兼容事件驱动计算。在基于主干的NOMAD架构中，SAR在延迟-误差-能量（LEE）综合指标上相比于可变脉冲神经元（VSN）和漏积分-发火（LIF）实现提高了五倍以上。我们进一步分析了脉冲熵和特征使用情况，并引入了合成知识蒸馏，使LEE得分降低了两倍以上。

🔬 方法详解

问题定义：本文旨在解决传统虚拟传感方法在边缘部署中面临的延迟、能效和泛化能力不足的问题。现有的脉冲神经元方法在训练和推理过程中存在收敛性和延迟的挑战。

核心思路：提出稀疏激活ReLU（SAR）层作为单步替代方案，旨在通过促进激活稀疏性来提升计算效率，避免了复杂的代理梯度训练过程，同时保持与事件驱动计算的兼容性。

技术框架：整体架构采用基于主干的NOMAD设计，主要模块包括SAR层、合成知识蒸馏和改进的脉冲神经元（VSN）。通过这些模块的协同工作，优化了延迟、能量和误差性能。

关键创新：最重要的技术创新在于SAR层的设计，它通过单步激活机制显著提高了激活稀疏性，解决了传统脉冲神经元方法的收敛和延迟问题。

关键设计：在网络结构中，SAR层的参数设置和损失函数设计经过精心调整，以确保在不同的应用场景中都能实现最佳性能。同时，结合图邻域阈值技术进一步提升了模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAR层在延迟-误差-能量（LEE）指标上相比于可变脉冲神经元（VSN）和漏积分-发火（LIF）实现提高了五倍以上。此外，结合合成知识蒸馏后，LEE得分降低了两倍以上，L2误差在Heat Exchanger数据集上减少了近七倍，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括数字双胞胎、智能制造和安全关键系统等。通过提高虚拟传感的能效和实时性，能够在边缘设备上实现更高效的物理现象重建和预测，推动智能系统的发展。未来，该框架可作为评估延迟、能量和误差性能的标准，为更高效的设计提供参考。

📄 摘要（原文）

Virtual sensing enables digital twins and safety-critical systems to reconstruct and forecast spatial-temporal physics in real time. However, conventional computational and data-driven methods often face challenges in generalization, latency, and energy efficiency for edge deployment. Neural operators offer a promising alternative but remain reliant on power-intensive hardware. Spiking neurons and neuromorphic computing can improve efficiency, yet surrogate-gradient training and multi-step spiking introduce convergence and latency challenges. We propose the Sparse-Activation-ReLU (SAR) layer, a single-step alternative that promotes activation sparsity without surrogate-gradient training while remaining compatible with event-based computing. Within a trunk-based NOMAD architecture, SAR achieves over a fivefold improvement in the combined Latency-Error-Energy (LEE) metric compared with Variable Spiking Neuron (VSN) and Leaky Integrate-and-Fire (LIF) implementations. We further analyze spiking entropy and feature usage and introduce synthetic knowledge distillation, reducing the LEE score by more than twofold. Finally, we improve VSN through a ReLU-based spiking loss and graph-neighbor thresholding. On the Heat Exchanger dataset, these approaches reduce L2 error by more than twofold and nearly sevenfold, respectively, while reducing spiking and spatial aggregation. Overall, the work presented is a step towards energy-efficient virtual sensing by providing an alternative framework that can be positioned towards neuromorphic or other edge device integration that can be a gold standard to compare latency, energy, and error performance for future efficient designs that are sparsity or brain-inspired spiking based.