Appearance-based gaze estimation enhanced with synthetic images using deep neural networks

📄 arXiv: 2311.14175v2 📥 PDF

作者: Dmytro Herashchenko, Igor Farkaš

分类: cs.CV, cs.AI

发布日期: 2023-11-23 (更新: 2024-02-28)

备注: 6 pages, 10 figures, accepted to 2023 IEEE Symposium Series on Computational Intelligence (SSCI). Published version copyrighted by IEEE. This work was funded by the Horizon Europe Twinning project TERAIS G.A. number 101079338, and in part by the national project APVV-21-0105. The link to the code: https://zenodo.org/doi/10.5281/zenodo.10696083

💡 一句话要点

提出基于外观的注视估计方法以解决人机交互问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人眼注视估计 深度神经网络 人机交互 合成数据集 模块化系统

📋 核心要点

  1. 现有的人眼注视估计方法通常依赖于特殊硬件，限制了其在实际应用中的普遍性和可用性。
  2. 本文提出了一种基于深度神经网络的模块化系统，从裁剪的眼睛图像中估计注视，结合了现有的面部检测和头部姿态估计技术。
  3. 实验结果表明，模型在眼睛俯仰和偏航方向上的平均误差低于两度，显著优于现有方法，且在真实场景中也表现良好。

📝 摘要（中文）

人眼注视估计是成功的人机交互的重要认知成分，使机器人能够读取和预测人类行为。本文采用人工神经网络构建模块化系统，从单独裁剪的眼睛中估计注视，利用现有的面部检测（RetinaFace）和头部姿态估计（6DRepNet）组件。我们的方法不需要特殊硬件或红外滤镜，而是使用标准笔记本内置的RGB相机。通过MetaHuman工具生成了超过57,000个人脸的合成数据集，并公开发布。将该数据集（包含眼睛注视和头部姿态信息）与标准的哥伦比亚注视数据集结合进行模型训练，导致在眼睛俯仰和偏航方向上的平均误差低于两度，表现优于相关方法。我们还通过在NICO半人形机器人的眼睛中使用内置4K相机进行初步测试，验证了模型的可行性。

🔬 方法详解

问题定义：本文旨在解决人眼注视估计中的硬件依赖性问题，现有方法通常需要特殊设备，限制了其应用范围。

核心思路：我们提出了一种基于深度神经网络的模块化系统，通过裁剪眼睛图像来估计注视，利用现有的面部检测和头部姿态估计技术，避免了对特殊硬件的需求。

技术框架：整体架构包括面部检测模块（RetinaFace）、头部姿态估计模块（6DRepNet）和注视估计模块。首先进行面部检测，然后提取眼睛区域，最后通过深度学习模型进行注视估计。

关键创新：最重要的创新在于结合了合成数据集与真实数据集进行训练，显著提高了模型的准确性，尤其是在没有特殊硬件的情况下。

关键设计：在模型设计中，使用了标准的RGB相机进行数据采集，损失函数采用了适应性损失设计，以优化眼睛俯仰和偏航的估计精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在眼睛俯仰和偏航方向上的平均误差低于两度，相较于相关方法有显著提升，且在真实场景中使用内置4K相机进行测试时表现良好，验证了模型的实用性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、虚拟现实、增强现实等场景，能够提升机器人对人类行为的理解和响应能力。未来，该技术可广泛应用于社交机器人、智能助手等领域，推动人机交互的自然化和智能化。

📄 摘要（原文）

Human eye gaze estimation is an important cognitive ingredient for successful human-robot interaction, enabling the robot to read and predict human behavior. We approach this problem using artificial neural networks and build a modular system estimating gaze from separately cropped eyes, taking advantage of existing well-functioning components for face detection (RetinaFace) and head pose estimation (6DRepNet). Our proposed method does not require any special hardware or infrared filters but uses a standard notebook-builtin RGB camera, as often approached with appearance-based methods. Using the MetaHuman tool, we also generated a large synthetic dataset of more than 57,000 human faces and made it publicly available. The inclusion of this dataset (with eye gaze and head pose information) on top of the standard Columbia Gaze dataset into training the model led to better accuracy with a mean average error below two degrees in eye pitch and yaw directions, which compares favourably to related methods. We also verified the feasibility of our model by its preliminary testing in real-world setting using the builtin 4K camera in NICO semi-humanoid robot's eye.