A Lightweight Spatiotemporal Network for Online Eye Tracking with Event Camera

📄 arXiv: 2404.08858v1 📥 PDF

作者: Yan Ru Pei, Sasskia Brüers, Sébastien Crouzet, Douglas McLelland, Olivier Coenen

分类: cs.CV, cs.AI

发布日期: 2024-04-13

备注: 8 pages, 3 figures

期刊: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2024, pp. 5780-5788

💡 一句话要点

提出轻量级时空网络以解决在线眼动追踪问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 眼动追踪 事件相机 边缘计算 时空卷积网络 激活稀疏性 数据增强 实时处理

📋 核心要点

  1. 现有的眼动追踪方法在处理事件驱动数据时面临效率和延迟的挑战，尤其是在边缘计算环境中。
  2. 本文提出了一种轻量级的因果时空卷积网络，专门针对边缘硬件的资源限制进行优化，提升了在线推理的效率。
  3. 在AIS 2024眼动追踪挑战中，模型在Kaggle私有测试集上达到了0.9916的p10准确率，显示出显著的性能提升。

📝 摘要（中文）

事件驱动的数据在边缘计算环境中常见，效率和低延迟至关重要。为此，本文提出了一种因果时空卷积网络，旨在高效地在资源有限的边缘硬件上实现。该方法通过简单的架构和操作、在线推理的缓冲配置以及训练期间的正则化实现了90%以上的激活稀疏性，从而显著提高了事件处理器的效率。此外，提出了一种通用的仿射增强策略，直接作用于事件，缓解了事件系统数据集稀缺的问题。该模型在AIS 2024事件眼动追踪挑战中取得了0.9916的p10准确率。

🔬 方法详解

问题定义：本文旨在解决在边缘计算环境中，现有眼动追踪方法在处理事件驱动数据时的效率和延迟问题。现有方法往往无法充分利用事件数据的丰富时序特性，导致性能不足。

核心思路：提出的因果时空卷积网络通过简化架构和操作，结合在线推理的缓冲机制，旨在提高计算效率并降低延迟，同时保持高准确率。

技术框架：该网络由多个卷积层和ReLU激活函数组成，设计上强调简单性与高效性。通过正则化技术实现高达90%的激活稀疏性，适应边缘设备的计算能力。

关键创新：最重要的创新在于提出了一种新的网络架构，能够在保持高准确率的同时，显著提高事件处理的效率。与传统方法相比，该方法在资源利用上更为高效。

关键设计：在网络设计中，采用了简单的卷积操作和ReLU激活，结合正则化策略以实现激活稀疏性。此外，提出的仿射增强策略直接作用于事件数据，缓解了数据集稀缺的问题。

📊 实验亮点

实验结果显示，所提模型在AIS 2024眼动追踪挑战中达到了0.9916的p10准确率，相较于基线方法有显著提升，证明了其在事件数据处理中的有效性和高效性。

🎯 应用场景

该研究在眼动追踪领域具有广泛的应用潜力，尤其是在需要实时处理和低延迟的边缘计算环境中。其高效的算法设计可应用于智能设备、增强现实和虚拟现实等场景，推动相关技术的发展与应用。未来，该方法可能会在其他实时视觉任务中展现出更大的价值。

📄 摘要（原文）

Event-based data are commonly encountered in edge computing environments where efficiency and low latency are critical. To interface with such data and leverage their rich temporal features, we propose a causal spatiotemporal convolutional network. This solution targets efficient implementation on edge-appropriate hardware with limited resources in three ways: 1) deliberately targets a simple architecture and set of operations (convolutions, ReLU activations) 2) can be configured to perform online inference efficiently via buffering of layer outputs 3) can achieve more than 90% activation sparsity through regularization during training, enabling very significant efficiency gains on event-based processors. In addition, we propose a general affine augmentation strategy acting directly on the events, which alleviates the problem of dataset scarcity for event-based systems. We apply our model on the AIS 2024 event-based eye tracking challenge, reaching a score of 0.9916 p10 accuracy on the Kaggle private testset.