Contrastive Learning of Person-independent Representations for Facial Action Unit Detection
作者: Yong Li, Shiguang Shan
分类: cs.CV
发布日期: 2024-03-06
期刊: Published in Transaction on Image Processing 2023
💡 一句话要点
提出对比学习方法以解决面部动作单元检测的数据稀缺问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 面部动作单元 对比学习 自监督学习 跨身份重建 视频分析 深度学习
📋 核心要点
- 面部动作单元检测面临AU标注不足的问题，限制了模型的学习能力和泛化性能。
- 本文提出通过对比学习从未标记视频中学习AU表示，设计了跨身份重建机制以实现人无关的表示。
- 在三个公共AU数据集上的实验结果显示，所提出的方法在AU检测上优于其他对比学习方法，性能显著提升。
📝 摘要（中文）
面部动作单元（AU）检测旨在对面部图像中的AU进行分类，但长期以来受到AU标注不足的困扰。本文通过对比学习范式，从大量未标记的面部视频中学习AU表示，以缓解数据稀缺问题。我们提出了自监督AU表示学习信号的双重形式：一是AU表示在短视频片段内应具备逐帧区分性；二是来自不同身份但表现出相似AU的面部帧应具有一致的AU表示。为实现这些目标，我们提出在视频片段内对比学习AU表示，并设计了跨身份重建机制以学习与人无关的表示。实验结果表明，所学AU表示在AU检测中具有较强的区分性，且我们的算法在性能上超越了其他对比学习方法，显著缩小了自监督与监督AU检测方法之间的性能差距。
🔬 方法详解
问题定义：本文旨在解决面部动作单元检测中由于标注不足导致的学习困难，现有方法往往依赖于大量标注数据，限制了其应用范围。
核心思路：通过对比学习从未标记的面部视频中提取AU表示，利用视频帧间的时序信息和跨身份的相似性来增强模型的学习能力。
技术框架：整体架构包括两个主要模块：一是基于时间的对比学习模块，二是跨身份重建机制。前者关注视频片段内的AU一致性，后者则确保不同身份的相似AU在潜在空间中靠近。
关键创新：提出的跨身份重建机制是本研究的核心创新，与传统方法相比，它不仅关注单一身份的AU表示，还考虑了不同身份间的相似性，从而提升了模型的泛化能力。
关键设计：采用基于边际的时间对比学习损失函数，确保在视频片段内AU表示的时序一致性，同时设计了潜在空间的重建损失，以促进不同身份间的AU表示靠近。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在三个公共AU数据集上均表现优异，尤其是在与其他对比学习方法的比较中，性能提升幅度达到显著水平，缩小了自监督与监督AU检测方法之间的性能差距，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括情感识别、人机交互、视频监控等，能够在缺乏标注数据的情况下有效提升面部动作单元检测的性能，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动自监督学习在计算机视觉领域的进一步发展。
📄 摘要（原文）
Facial action unit (AU) detection, aiming to classify AU present in the facial image, has long suffered from insufficient AU annotations. In this paper, we aim to mitigate this data scarcity issue by learning AU representations from a large number of unlabelled facial videos in a contrastive learning paradigm. We formulate the self-supervised AU representation learning signals in two-fold: (1) AU representation should be frame-wisely discriminative within a short video clip; (2) Facial frames sampled from different identities but show analogous facial AUs should have consistent AU representations. As to achieve these goals, we propose to contrastively learn the AU representation within a video clip and devise a cross-identity reconstruction mechanism to learn the person-independent representations. Specially, we adopt a margin-based temporal contrastive learning paradigm to perceive the temporal AU coherence and evolution characteristics within a clip that consists of consecutive input facial frames. Moreover, the cross-identity reconstruction mechanism facilitates pushing the faces from different identities but show analogous AUs close in the latent embedding space. Experimental results on three public AU datasets demonstrate that the learned AU representation is discriminative for AU detection. Our method outperforms other contrastive learning methods and significantly closes the performance gap between the self-supervised and supervised AU detection approaches.