Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking

📄 arXiv: 2404.00548v2 📥 PDF

作者: Jiading Li, Zhiyu Zhu, Jinhui Hou, Junhui Hou, Jinjian Wu

分类: cs.CV

发布日期: 2024-03-31 (更新: 2024-06-28)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于局部-全局蒸馏的状态转移建模方法以解决被动注视估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 被动注视估计 状态转移建模 去噪蒸馏 多模态数据 深度学习 人机交互 虚拟现实

📋 核心要点

  1. 现有方法在被动注视估计中面临生理结构差异导致的准确性不足问题。
  2. 论文提出的解决方案通过将注视估计过程分为锚状态选择和最终位置估计，采用两阶段学习框架。
  3. 实验结果表明，提出的方法在性能上超越了现有最先进的方法，提升幅度达到15%。

📝 摘要（中文）

本论文解决了使用事件和帧数据进行被动注视估计的问题。由于生理结构的差异，单纯依赖当前状态进行注视估计是不可行的。因此，我们将注视估计重新定义为从当前状态到多个先前注册的锚状态的状态转移量化。我们提出了一种两阶段学习框架，将注视估计过程分为粗到细的锚状态选择和最终注视位置估计。此外，为了提高模型的泛化能力，我们通过对齐一组局部专家与学生网络，提出了一种新颖的去噪蒸馏算法，利用去噪扩散技术迭代去除事件数据中的固有噪声。大量实验表明，该方法的有效性，性能超越了最先进的方法，提升幅度达到15%。代码将公开发布。

🔬 方法详解

问题定义：本论文旨在解决被动注视估计中的准确性问题，现有方法由于生理结构的差异，难以仅依赖当前状态进行有效估计。

核心思路：我们将注视估计重新定义为状态转移的量化，采用两阶段学习框架，首先选择锚状态，然后精确估计注视位置，以提高估计的准确性和鲁棒性。

技术框架：整体架构分为两个主要阶段：第一阶段为锚状态选择，第二阶段为最终注视位置的估计。通过对局部专家与学生网络的对齐，提升模型的泛化能力。

关键创新：引入了一种新颖的去噪蒸馏算法，利用去噪扩散技术迭代去除事件数据中的噪声，这是与现有方法的本质区别所在。

关键设计：在网络结构上，采用了局部专家网络与学生网络的对齐机制，损失函数设计上注重去噪效果，确保模型在多种状态下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在注视估计任务中超越了最先进的方法，性能提升幅度达到15%。这一显著的提升表明了新方法在处理复杂注视估计问题上的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、虚拟现实、增强现实等场景，能够提升系统对用户注视行为的理解和响应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper tackles the problem of passive gaze estimation using both event and frame data. Considering the inherently different physiological structures, it is intractable to accurately estimate gaze purely based on a given state. Thus, we reformulate gaze estimation as the quantification of the state shifting from the current state to several prior registered anchor states. Specifically, we propose a two-stage learning-based gaze estimation framework that divides the whole gaze estimation process into a coarse-to-fine approach involving anchor state selection and final gaze location. Moreover, to improve the generalization ability, instead of learning a large gaze estimation network directly, we align a group of local experts with a student network, where a novel denoising distillation algorithm is introduced to utilize denoising diffusion techniques to iteratively remove inherent noise in event data. Extensive experiments demonstrate the effectiveness of the proposed method, which surpasses state-of-the-art methods by a large margin of 15$\%$. The code will be publicly available at https://github.com/jdjdli/Denoise_distill_EF_gazetracker.