MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking

📄 arXiv: 2404.12083v2 📥 PDF

作者: Zhong Wang, Zengyu Wan, Han Han, Bohao Liao, Yuliang Wu, Wei Zhai, Yang Cao, Zheng-jun Zha

分类: cs.CV

发布日期: 2024-04-18 (更新: 2024-04-30)

备注: Accepted by CVPR 2024 Workshop (AIS: Vision, Graphics and AI for Streaming), top solution of challenge Event-based Eye Tracking, see https://www.kaggle.com/competitions/event-based-eye-tracking-ais2024

💡 一句话要点

提出MambaPupil以解决事件驱动眼动追踪中的不稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 事件驱动眼动追踪 双向GRU 时变状态选择 卷积神经网络 数据增强 上下文建模 眼动模式识别

📋 核心要点

  1. 现有的事件驱动眼动追踪方法在应对眼动模式的多样性和突发性方面存在显著挑战，导致定位不稳定。
  2. 本文提出的MambaPupil网络通过双向GRU和LTV-SSM机制，充分利用上下文时间信息以应对眼动的变异性。
  3. 在ThreeET-plus基准测试中，MambaPupil表现优异，获得第一名，显示出其在事件驱动眼动追踪中的有效性。

📝 摘要（中文）

事件驱动的眼动追踪利用事件相机提供的高时间分辨率和低冗余性展现出良好前景。然而，眼动模式的多样性和突发性，如眨眼、注视、扫视和平滑追踪，给眼动定位带来了显著挑战。为实现稳定的事件驱动眼动追踪系统，本文提出了一种双向长序列建模和时变状态选择机制，以充分利用上下文时间信息应对眼动的变异性。具体而言，提出了MambaPupil网络，该网络由多层卷积编码器、双向门控递归单元（GRU）和线性时变状态空间模块（LTV-SSM）组成，以选择性地捕捉前向和后向时间关系的上下文相关性。此外，采用Bina-rep作为紧凑的事件表示，并提出了一种名为Event-Cutout的数据增强方法，通过对事件图像应用空间随机遮罩来增强模型的鲁棒性。在ThreeET-plus基准上的评估显示，MambaPupil表现优异，在CVPR'2024 AIS事件驱动眼动追踪挑战中获得第一名。

🔬 方法详解

问题定义：本文旨在解决事件驱动眼动追踪中的不稳定性问题，现有方法难以应对眼动模式的多样性和突发性，导致眼动定位的准确性和稳定性不足。

核心思路：MambaPupil网络通过双向长序列建模和时变状态选择机制，充分利用上下文时间信息，以提高对眼动变异性的适应能力。这样的设计使得模型能够同时考虑前向和后向的时间关系，从而增强对复杂眼动模式的捕捉能力。

技术框架：MambaPupil网络的整体架构包括多层卷积编码器用于特征提取，双向GRU用于捕捉时间序列信息，以及LTV-SSM模块用于选择性地捕捉上下文相关性。该网络通过Bina-rep作为事件表示，并结合Event-Cutout数据增强方法，提升模型的鲁棒性。

关键创新：MambaPupil的主要创新在于双向GRU和LTV-SSM的结合，能够有效捕捉眼动的前向和后向时间关系，这一设计与现有方法相比，显著提升了对复杂眼动模式的处理能力。

关键设计：在网络结构上，采用多层卷积编码器以提取事件特征，双向GRU用于时间序列建模，LTV-SSM模块则用于动态选择状态。此外，Event-Cutout通过空间随机遮罩增强了模型的鲁棒性，提升了在不同眼动模式下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MambaPupil在ThreeET-plus基准测试中表现出色，获得第一名，显示出其在事件驱动眼动追踪中的优越性。与基线方法相比，MambaPupil在准确性和鲁棒性上均有显著提升，具体性能数据尚未披露，但其在CVPR'2024 AIS事件驱动眼动追踪挑战中的表现证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、虚拟现实、增强现实以及医疗监测等。通过提高眼动追踪的准确性和稳定性，MambaPupil能够在实时监测和交互系统中发挥重要作用，推动相关技术的进步和应用。未来，该技术可能会在智能设备和辅助技术中得到广泛应用，提升用户体验和交互效率。

📄 摘要（原文）

Event-based eye tracking has shown great promise with the high temporal resolution and low redundancy provided by the event camera. However, the diversity and abruptness of eye movement patterns, including blinking, fixating, saccades, and smooth pursuit, pose significant challenges for eye localization. To achieve a stable event-based eye-tracking system, this paper proposes a bidirectional long-term sequence modeling and time-varying state selection mechanism to fully utilize contextual temporal information in response to the variability of eye movements. Specifically, the MambaPupil network is proposed, which consists of the multi-layer convolutional encoder to extract features from the event representations, a bidirectional Gated Recurrent Unit (GRU), and a Linear Time-Varying State Space Module (LTV-SSM), to selectively capture contextual correlation from the forward and backward temporal relationship. Furthermore, the Bina-rep is utilized as a compact event representation, and the tailor-made data augmentation, called as Event-Cutout, is proposed to enhance the model's robustness by applying spatial random masking to the event image. The evaluation on the ThreeET-plus benchmark shows the superior performance of the MambaPupil, which secured the 1st place in CVPR'2024 AIS Event-based Eye Tracking challenge.