Rapidly deploying on-device eye tracking by distilling visual foundation models

📄 arXiv: 2604.02509 📥 PDF

作者: Cheng Jiang, Jogendra Kundu, David Colmenares, Fengting Yang, Joseph P Robinson, Ali Behrooz, Yatong An

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出DistillGaze以解决快速部署高精度眼动追踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 眼动追踪 视觉基础模型 蒸馏训练 合成数据 实时部署 深度学习 增强现实 虚拟现实

📋 核心要点

  1. 现有的眼动追踪方法在不同设备上难以快速适应硬件变化，导致精度不足。
  2. 提出DistillGaze框架，通过合成数据和真实数据的结合，快速训练高精度的眼动估计模型。
  3. 在大规模数据集上评估，DistillGaze显著降低了眼动误差，提升了模型的实时部署能力。

📝 摘要（中文）

眼动追踪在增强现实和虚拟现实应用中至关重要。然而，由于硬件配置（如相机位置、姿态和光照）在不同设备代际间的变化，快速部署高精度的眼动估计仍然面临挑战。视觉基础模型（VFM）在自然图像基准测试中表现优异，但在专用近眼红外图像上仍难以达到高精度。为此，本文提出了DistillGaze框架，通过使用标记的合成数据和未标记的真实数据来快速实现高精度的设备端眼动估计。DistillGaze分为两个阶段，首先将VFM适配为领域专用教师，然后从教师指导和自我训练中训练设备端学生。经过大规模众包数据集评估，DistillGaze相较于仅使用合成数据的基线，减少了58.6%的中位眼动误差，同时保持了适合实时设备端部署的轻量级256K参数模型。

🔬 方法详解

问题定义：本文旨在解决快速部署高精度眼动追踪模型的问题。现有方法在不同硬件配置下难以保持一致的高精度，尤其是在近眼红外图像上表现不佳。

核心思路：DistillGaze框架通过将视觉基础模型（VFM）蒸馏为领域专用教师，利用合成数据提供高质量的监督，同时通过未标记的真实数据弥补合成与真实之间的域差距。

技术框架：DistillGaze的整体架构分为两个阶段：第一阶段是将VFM适配为教师模型，第二阶段是从教师模型和自我训练中训练设备端学生模型。

关键创新：DistillGaze的主要创新在于结合合成数据与未标记真实数据的蒸馏方法，使得模型能够快速适应不同硬件配置，显著提高了眼动追踪的精度。

关键设计：在模型设计中，采用了256K参数的轻量级网络结构，确保了实时部署的可行性，同时在损失函数中引入了合成数据的监督信号，以提高训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在大规模众包数据集上，DistillGaze相较于仅使用合成数据的基线，成功减少了58.6%的中位眼动误差，展现出显著的性能提升。此外，模型保持了256K参数的轻量级设计，适合实时设备端的应用。

🎯 应用场景

DistillGaze框架在增强现实和虚拟现实等领域具有广泛的应用潜力，能够快速适应不同硬件配置的眼动追踪需求。其高精度的眼动估计能力将提升用户体验，并推动相关产品的开发与创新。未来，该方法也可扩展到其他设备端回归任务中，提升模型的泛化能力。

📄 摘要（原文）

Eye tracking (ET) plays a critical role in augmented and virtual reality applications. However, rapidly deploying high-accuracy, on-device gaze estimation for new products remains challenging because hardware configurations (e.g., camera placement, camera pose, and illumination) often change across device generations. Visual foundation models (VFMs) excel on natural-image benchmarks and offer a promising path to rapid training and deployment; yet, we find that off-the-shelf VFMs still struggle to reach high accuracy on specialized near-eye infrared images. To close this gap, we introduce DistillGaze, a framework that distills a VFM using labeled synthetic data and unlabeled real data for rapid, high-accuracy on-device gaze estimation. DistillGaze proceeds in two stages. First, we adapt a VFM into a domain-specialized teacher using synthetic gaze labels and unlabeled real images. Synthetic data provide scalable, high-quality gaze supervision, while unlabeled real data bridges the synthetic-to-real domain gap. Second, we train an on-device student from both teacher guidance and self-training. Evaluated on a large-scale crowd-sourced dataset spanning more than 2,000 participants, DistillGaze reduces median gaze error by 58.6% relative to synthetic-only baselines while maintaining a lightweight 256K-parameter model suitable for real-time on-device deployment. More broadly, DistillGaze offers an efficient path to training and deploying ET models that adapt to hardware changes, and a recipe for combining synthetic supervision with unlabeled real data in on-device regression tasks.