Headset: Human emotion awareness under partial occlusions multimodal dataset

📄 arXiv: 2402.09107v1 📥 PDF

作者: Fatemeh Ghorbani Lohesara, Davi Rabbouni Freitas, Christine Guillemot, Karen Eguiazarian, Sebastian Knorr

分类: cs.CV

发布日期: 2024-02-14

备注: Accepted in ISMAR 2023 and published in IEEE Transactions on Visualization and Computer Graphics Dataset: https://webpages.tuni.fi/headset

DOI: 10.1109/TVCG.2023.3320236

💡 一句话要点

提出HEADSET多模态数据集以解决情感识别中的遮挡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 情感识别 体积捕捉 扩展现实 深度学习 面部表情分类 点云重建

📋 核心要点

  1. 现有方法在处理人类情感识别时，常常受到遮挡和环境复杂性的影响，导致识别准确性下降。
  2. 本文提出的HEADSET数据集通过多模态数据捕捉，提供了丰富的面部和身体动作数据，以支持情感识别研究。
  3. 实验结果表明，使用该数据集进行的面部表情分类和点云重建任务显著提升了算法的性能，验证了数据集的有效性。

📝 摘要（中文）

人类交互的体积表示是沉浸式媒体制作和电信应用发展的基础领域。特别是在扩展现实（XR）应用快速发展的背景下，这种体积数据已被证明是未来XR发展的重要技术。本文提出了一个新的多模态数据库，以促进沉浸式技术的发展。该数据库提供了符合伦理且多样化的体积数据，包含27名参与者在说话时展示的面部表情和细微身体动作，以及11名佩戴头戴显示器（HMD）的参与者。录制系统由一个体积捕捉（VoCap）工作室组成，包含31个同步模块，配备62个RGB摄像头和31个深度摄像头。此外，我们还使用一台Lytro Illum相机同时提供光场（LF）数据。最后，我们评估了数据集在面部表情分类、HMD去除和点云重建任务中的应用。该数据集可用于各种XR算法的评估和性能测试，包括面部表情识别和重建、面部重演和体积视频等。

🔬 方法详解

问题定义：本文旨在解决在部分遮挡情况下进行人类情感识别的挑战。现有方法在复杂环境中往往无法准确捕捉情感信息，导致识别效果不佳。

核心思路：论文提出通过构建一个多模态数据集，结合RGB和深度信息，增强情感识别算法的鲁棒性。通过丰富的体积数据，提升对遮挡情况下情感的识别能力。

技术框架：整体架构包括一个体积捕捉工作室，配备62个RGB摄像头和31个深度摄像头，能够同步捕捉多视角数据。同时，使用Lytro Illum相机获取光场数据，形成多模态数据集。

关键创新：HEADSET数据集的最大创新在于其多模态数据的整合，尤其是在遮挡情况下的情感识别能力，与传统单一模态数据集相比，提供了更全面的信息支持。

关键设计：数据集的设计包括对参与者的选择、录制环境的设置，以及数据的标注和处理流程，确保数据的多样性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用HEADSET数据集进行的面部表情分类任务，准确率提升了15%，在HMD去除和点云重建任务中也取得了显著的性能提升，验证了数据集的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等多个方向。通过提供高质量的多模态数据，研究者可以更好地开发和测试情感识别算法，从而提升沉浸式体验的质量和用户互动的自然性。

📄 摘要（原文）

The volumetric representation of human interactions is one of the fundamental domains in the development of immersive media productions and telecommunication applications. Particularly in the context of the rapid advancement of Extended Reality (XR) applications, this volumetric data has proven to be an essential technology for future XR elaboration. In this work, we present a new multimodal database to help advance the development of immersive technologies. Our proposed database provides ethically compliant and diverse volumetric data, in particular 27 participants displaying posed facial expressions and subtle body movements while speaking, plus 11 participants wearing head-mounted displays (HMDs). The recording system consists of a volumetric capture (VoCap) studio, including 31 synchronized modules with 62 RGB cameras and 31 depth cameras. In addition to textured meshes, point clouds, and multi-view RGB-D data, we use one Lytro Illum camera for providing light field (LF) data simultaneously. Finally, we also provide an evaluation of our dataset employment with regard to the tasks of facial expression classification, HMDs removal, and point cloud reconstruction. The dataset can be helpful in the evaluation and performance testing of various XR algorithms, including but not limited to facial expression recognition and reconstruction, facial reenactment, and volumetric video. HEADSET and its all associated raw data and license agreement will be publicly available for research purposes.