PrivatEyes: Appearance-based Gaze Estimation Using Federated Secure Multi-Party Computation

📄 arXiv: 2402.18970v1 📥 PDF

作者: Mayar Elfares, Pascal Reisert, Zhiming Hu, Wenwu Tang, Ralf Küsters, Andreas Bulling

分类: cs.CV, cs.HC

发布日期: 2024-02-29

💡 一句话要点

提出PrivatEyes以解决隐私风险下的注视估计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 隐私保护 注视估计 联邦学习 安全多方计算 数据泄露 机器学习 计算机视觉

📋 核心要点

  1. 现有的注视估计方法依赖于大量训练数据的收集与交换，这在隐私保护方面存在重大挑战。
  2. PrivatEyes通过联邦学习和安全多方计算，允许在多个本地数据集上进行注视估计的训练，同时确保数据隐私。
  3. 实验结果显示，PrivatEyes在提高隐私保护的同时，保持了与非安全方法相当的注视估计准确性和计算效率。

📝 摘要（中文）

最新的注视估计方法需要大规模的训练数据，但其收集和交换存在显著的隐私风险。我们提出PrivatEyes——首个基于联邦学习和安全多方计算的隐私增强训练方法，旨在进行基于外观的注视估计。PrivatEyes允许在多个用户的本地数据集上训练注视估计器，并通过服务器进行安全聚合，确保个体注视数据的隐私，即使在大多数聚合服务器恶意的情况下也能得到保障。此外，我们引入了一种新的数据泄露攻击DualView，表明PrivatEyes在限制私有训练数据泄露方面比以往方法更为有效。对MPIIGaze、MPIIFaceGaze、GazeCapture和NVGaze数据集的评估表明，增强的隐私并未导致注视估计准确性降低或计算成本显著增加，性能与非安全方法相当。

🔬 方法详解

问题定义：本论文旨在解决现有注视估计方法在数据收集与交换过程中面临的隐私风险，尤其是在用户数据可能被恶意服务器访问的情况下。

核心思路：PrivatEyes的核心思路是结合联邦学习与安全多方计算，允许多个用户在本地训练注视估计器，并通过安全聚合机制共享更新，从而保护个体数据隐私。

技术框架：PrivatEyes的整体架构包括多个本地数据集的训练、个体估计器的更新、以及通过安全聚合服务器进行的更新整合。每个用户的本地模型在不暴露数据的情况下进行训练，最终通过安全协议进行聚合。

关键创新：PrivatEyes的主要创新在于其能够在保证数据隐私的前提下，进行有效的注视估计训练，且即使在恶意服务器的情况下也能保护用户数据。与传统方法相比，PrivatEyes显著降低了数据泄露的风险。

关键设计：在设计中，PrivatEyes采用了特定的损失函数和网络结构，以确保在进行安全聚合时，模型的更新能够有效反映本地数据的特征，同时保持计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PrivatEyes在MPIIGaze、MPIIFaceGaze、GazeCapture和NVGaze数据集上的注视估计准确性与非安全方法相当，同时在隐私保护方面表现出显著优势，成功限制了数据泄露的风险。

🎯 应用场景

该研究的潜在应用领域包括智能设备、虚拟现实和增强现实等场景，能够在保护用户隐私的前提下，实现高效的注视追踪和人机交互。未来，PrivatEyes可能推动更多隐私敏感领域的应用，如医疗、金融等，提升用户信任度。

📄 摘要（原文）

Latest gaze estimation methods require large-scale training data but their collection and exchange pose significant privacy risks. We propose PrivatEyes - the first privacy-enhancing training approach for appearance-based gaze estimation based on federated learning (FL) and secure multi-party computation (MPC). PrivatEyes enables training gaze estimators on multiple local datasets across different users and server-based secure aggregation of the individual estimators' updates. PrivatEyes guarantees that individual gaze data remains private even if a majority of the aggregating servers is malicious. We also introduce a new data leakage attack DualView that shows that PrivatEyes limits the leakage of private training data more effectively than previous approaches. Evaluations on the MPIIGaze, MPIIFaceGaze, GazeCapture, and NVGaze datasets further show that the improved privacy does not lead to a lower gaze estimation accuracy or substantially higher computational costs - both of which are on par with its non-secure counterparts.