ProS: Facial Omni-Representation Learning via Prototype-based Self-Distillation
作者: Xing Di, Yiyu Zheng, Xiaoming Liu, Yu Cheng
分类: cs.CV
发布日期: 2023-11-03 (更新: 2023-11-07)
备注: This paper has been accepted in WACV2024
💡 一句话要点
提出基于原型自蒸馏的面部全表征学习方法以解决无监督学习挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无监督学习 人脸表征 自蒸馏 视觉变换器 原型匹配 数据隐私 图像增强
📋 核心要点
- 现有的监督学习方法依赖大量标注的人脸数据，面临数据收集和隐私问题的挑战。
- ProS方法通过利用未标记的人脸图像，结合教师-学生模型和原型匹配损失，实现无监督的面部表征学习。
- 实验结果表明，ProS在多项任务上达到了最先进的性能，尤其是在全量和少量样本设置下均表现优异。
📝 摘要（中文）
本文提出了一种新颖的方法，称为基于原型自蒸馏（ProS），用于无监督的人脸表征学习。现有的监督方法严重依赖大量标注的训练面部数据，这在数据收集和隐私方面带来了挑战。为了解决这些问题，我们提出ProS，利用大量未标记的人脸图像学习全面的面部全表征。ProS由两个视觉变换器（教师和学生模型）组成，分别在不同的增强图像上进行训练。此外，我们构建了一个面部感知检索系统，并通过增强获取主要包含面部区域的图像。为了增强学习特征的区分性，我们引入了一种基于原型的匹配损失，旨在对齐特征（教师或学生）与一组可学习原型之间的相似性分布。经过预训练后，教师视觉变换器作为下游任务的骨干网络，包括属性估计、表情识别和关键点对齐，通过简单的微调与附加层实现。大量实验表明，我们的方法在各种任务上实现了最先进的性能，无论是在全量还是少量样本设置下。此外，我们还研究了使用合成面部图像进行预训练，ProS在这一场景下也展现出良好的性能。
🔬 方法详解
问题定义：本文旨在解决无监督人脸表征学习中的数据依赖性问题，现有方法需要大量标注数据，导致数据收集困难和隐私风险。
核心思路：ProS通过利用未标记的人脸图像，采用教师-学生模型架构，结合原型匹配损失，增强特征学习的区分性，从而实现高效的无监督学习。
技术框架：ProS的整体架构包括两个视觉变换器（教师和学生），分别在不同的增强图像上进行训练。通过面部感知检索系统获取主要包含面部区域的图像，进而进行特征学习。
关键创新：最重要的技术创新在于引入了基于原型的匹配损失，能够有效对齐特征与可学习原型之间的相似性分布，显著提升了特征的区分能力。
关键设计：在模型设计中，采用了多种图像增强技术（如裁剪、模糊、着色等），并设置了适当的损失函数以优化特征学习过程，确保教师和学生模型的有效协同。
🖼️ 关键图片
📊 实验亮点
在多项任务中，ProS方法实现了最先进的性能，尤其是在全量和少量样本设置下，表现出色。具体而言，ProS在属性估计、表情识别和关键点对齐等任务上均超过了现有基线，展现出良好的泛化能力和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括人脸识别、情感分析和生物特征验证等。通过无监督学习，ProS能够在缺乏标注数据的情况下，提供高质量的面部表征，具有重要的实际价值和广泛的应用前景，尤其在隐私敏感的场景中。未来，ProS的技术可以扩展到其他视觉任务，推动无监督学习的发展。
📄 摘要（原文）
This paper presents a novel approach, called Prototype-based Self-Distillation (ProS), for unsupervised face representation learning. The existing supervised methods heavily rely on a large amount of annotated training facial data, which poses challenges in terms of data collection and privacy concerns. To address these issues, we propose ProS, which leverages a vast collection of unlabeled face images to learn a comprehensive facial omni-representation. In particular, ProS consists of two vision-transformers (teacher and student models) that are trained with different augmented images (cropping, blurring, coloring, etc.). Besides, we build a face-aware retrieval system along with augmentations to obtain the curated images comprising predominantly facial areas. To enhance the discrimination of learned features, we introduce a prototype-based matching loss that aligns the similarity distributions between features (teacher or student) and a set of learnable prototypes. After pre-training, the teacher vision transformer serves as a backbone for downstream tasks, including attribute estimation, expression recognition, and landmark alignment, achieved through simple fine-tuning with additional layers. Extensive experiments demonstrate that our method achieves state-of-the-art performance on various tasks, both in full and few-shot settings. Furthermore, we investigate pre-training with synthetic face images, and ProS exhibits promising performance in this scenario as well.