DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery
作者: Yitong Sun, Zijian Zhou, Cyriel Diels, Ali Asadipour
分类: eess.IV, cs.CV, cs.HC
发布日期: 2023-11-13
💡 一句话要点
提出DeepMetricEye以解决VR眼部深度估计问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 虚拟现实 眼部深度估计 深度学习 U-Net 眼科医学 数据生成 三维重建
📋 核心要点
- 现有VR头显在用户体验上存在数字眼疲劳和干眼症等问题，缺乏有效的眼部深度测量方法。
- 本文提出了一种基于优化的U-Net 3+框架，能够从眼部单目摄像头数据中估计眼周深度图。
- 在36名参与者的实验中，该方法在眼周精度评估和瞳孔直径测量上表现出显著的效果提升。
📝 摘要（中文）
尽管VR头显提供了增强的沉浸感，但用户常常面临数字眼疲劳、干眼症及潜在的长期视觉损害等问题。现有的VR头显逐渐配备眼部单目摄像头以分割眼部特征图，但要将相对测量转化为度量维度以计算光刺激和观察眼周状况变化仍然是一个挑战。为此，本文提出了一种基于优化的U-Net 3+深度学习框架，能够估计可测量的眼周深度图，兼容任何配备眼部单目摄像头的VR头显，重建三维眼周区域，为相关光刺激计算和医疗指南提供度量基础。通过基于UE MetaHuman的动态眼周数据生成环境，合成了数千张训练图像，实验结果显示该方法在眼周全局精度评估和瞳孔直径测量中表现出显著的有效性。
🔬 方法详解
问题定义：本文旨在解决VR环境中眼部深度估计的不足，现有方法无法有效将眼部特征的相对测量转化为度量维度，导致无法准确评估眼部健康状况。
核心思路：提出了一种轻量级的深度学习框架，基于U-Net 3+架构，优化后用于估计可测量的眼周深度图，旨在提高深度估计的准确性和实时性。
技术框架：整体架构包括数据采集、深度估计和结果输出三个主要模块。首先，通过眼部单目摄像头采集数据，然后使用优化的U-Net 3+模型进行深度图估计，最后输出三维眼周区域的重建结果。
关键创新：本研究的主要创新在于引入了动态眼周数据生成环境，能够从有限的人脸扫描数据中合成大量训练图像，显著提升了模型的训练效率和深度估计的准确性。
关键设计：在模型设计中，采用了特定的损失函数以优化深度图的生成，并对网络结构进行了调整，以提高对眼部特征的敏感性和准确性。
🖼️ 关键图片
📊 实验亮点
在对36名参与者的实验中，DeepMetricEye在眼周全局精度评估中表现出显著的有效性，瞳孔直径测量的准确性也得到了提升，具体性能数据尚未公开，但相较于现有方法有明显改善。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和眼科医学等。通过提供准确的眼周深度估计，可以帮助改善VR用户的体验，减少眼部不适，并为眼科疾病的早期诊断和治疗提供支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Despite the enhanced realism and immersion provided by VR headsets, users frequently encounter adverse effects such as digital eye strain (DES), dry eye, and potential long-term visual impairment due to excessive eye stimulation from VR displays and pressure from the mask. Recent VR headsets are increasingly equipped with eye-oriented monocular cameras to segment ocular feature maps. Yet, to compute the incident light stimulus and observe periocular condition alterations, it is imperative to transform these relative measurements into metric dimensions. To bridge this gap, we propose a lightweight framework derived from the U-Net 3+ deep learning backbone that we re-optimised, to estimate measurable periocular depth maps. Compatible with any VR headset equipped with an eye-oriented monocular camera, our method reconstructs three-dimensional periocular regions, providing a metric basis for related light stimulus calculation protocols and medical guidelines. Navigating the complexities of data collection, we introduce a Dynamic Periocular Data Generation (DPDG) environment based on UE MetaHuman, which synthesises thousands of training images from a small quantity of human facial scan data. Evaluated on a sample of 36 participants, our method exhibited notable efficacy in the periocular global precision evaluation experiment, and the pupil diameter measurement.