SED:Lightweight Saliency prediction for Event-based data via Distillation

📄 arXiv: 2606.14631v1 📥 PDF

作者: Romaric Mazna, Jean Martinet, Michele Magno

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出SED以解决事件数据的轻量级显著性预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 事件驱动 显著性预测 轻量级网络 知识蒸馏 深度学习 边缘计算 时空信息

📋 核心要点

  1. 现有方法在事件显著性预测上表现不佳，尤其是在资源受限的边缘设备上，难以满足性能与效率的平衡。
  2. 本文提出了一种基于深度时空块的轻量级网络SED，通过知识蒸馏技术有效利用事件数据的时间信息。
  3. 实验结果表明，SED在模型大小和参数数量上大幅减少，同时在多个数据集上表现优异，展现了良好的泛化能力。

📝 摘要（中文）

事件驱动的显著性预测近年来受到关注，因为将事件相机与显著性估计结合可以自然提高边缘设备的下游事件感知效率。然而，现有方法要么是神经形态的，在事件显著性基准上表现不佳，要么由于依赖变换器或3D卷积而过于庞大，不适合资源受限的边缘应用。本文提出了一种轻量级网络SED，通过知识蒸馏进行训练，基于深度时空块（DSTconv）构建，旨在利用事件数据中的时间信息。相较于其教师模型，我们的模型将模型大小从180MB减少到0.32MB（562倍），参数数量从4500万减少到8.1万（554倍），同时在N-DHF1K和N-UCF Sports数据集上匹配或超越了教师模型。此外，它在训练分布之外具有强大的泛化能力，能够从合成数据转移到真实事件数据，而从头开始训练的模型则失败。

🔬 方法详解

问题定义：本文旨在解决事件数据的显著性预测问题，现有方法要么性能不足，要么过于庞大，无法在边缘设备上有效运行。

核心思路：提出SED网络，通过知识蒸馏技术训练轻量级模型，利用深度时空块（DSTconv）来高效处理事件数据中的时间信息。

技术框架：SED网络由多个深度时空块组成，这些块通过因式分解的3D深度可分离卷积实现，整体架构旨在减少计算复杂度和模型大小。

关键创新：SED的主要创新在于其轻量级设计和知识蒸馏训练方法，使得模型在保持性能的同时大幅降低了资源消耗，与现有依赖重型网络的显著性预测方法形成鲜明对比。

关键设计：模型大小从180MB降至0.32MB，参数数量从4500万降至8.1万，使用的损失函数和训练策略经过精心设计，以确保模型在不同数据集上的有效性和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SED模型在N-DHF1K和N-UCF Sports数据集上表现出色，模型大小减少至0.32MB，参数数量减少至8.1k，分别实现了562倍和554倍的压缩，同时在性能上与教师模型持平或超越，展现了显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、智能监控、自动驾驶等场景，能够在资源受限的环境中实现高效的事件感知和显著性检测。未来，SED的轻量级特性可能推动更多实时应用的发展，提升智能设备的感知能力。

📄 摘要（原文）

Event-based saliency prediction has gained attention recently, as combining event cameras with saliency estimation can act as an upstream stage that naturally improves the efficiency of downstream eventbased perception at the edge. However, current approaches are either neuromorphic, underperforming on event-based saliency benchmarks, or too heavy for resource-constrained edge applications due to their reliance on transformers or 3D convolutions. Drawing inspiration from efficient convolutional modules, SED and aiming to exploit the temporal information in event data, we propose a lightweight network, trained through knowledge distillation, built on a Depthwise Spatio-Temporal Block (DSTconv) -- a factorization of the 3D depthwise separable convolution. Relative to its teacher, our model reduces the model size from 180 MB to 0.32 MB (562x) and the parameter count from 45M to 81k (554x), while matching or outperforming it on the N-DHF1K and N-UCF Sports datasets. Moreover, it generalizes strongly beyond its training distribution, transferring from synthetic to real event data where a model trained from scratch fails.