A Multimodal Intermediate Fusion Network with Manifold Learning for Stress Detection

📄 arXiv: 2403.08077v1 📥 PDF

作者: Morteza Bodaghi, Majid Hosseini, Raju Gottumukkala

分类: cs.CV, cs.AI

发布日期: 2024-03-12

备注: This work was accepted to The 3rd International Conference on Computing and Machine Intelligence (ICMI 2024)

💡 一句话要点

提出多模态中间融合网络以解决压力检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 压力检测 流形学习 深度学习 生物信号处理 面部特征识别 降维技术

📋 核心要点

  1. 现有的单模态方法在压力检测中准确性有限，且高维特征空间导致计算复杂度高。
  2. 本文提出了一种中间多模态融合网络，结合流形学习进行降维，以优化多模态学习过程。
  3. 实验结果显示，采用MDS流形方法的中间融合网络在准确性和计算成本上均优于其他方法。

📝 摘要（中文）

多模态深度学习方法能够从多种模态中捕捉协同特征，相较于单模态方法在压力检测中具有更高的准确性。然而，这种准确性提升通常伴随着高计算成本，尤其是在中间融合阶段。为此，本文提出了一种基于流形学习的中间多模态融合网络，通过简化数据来优化多模态学习，降低计算复杂度。该网络通过1D-CNN和2D-CNN分别生成生物信号和面部特征的独立表示，最终将这些特征融合并输入到另一层1D-CNN中。实验结果表明，采用多维尺度法（MDS）的中间融合方法在Leave-One-Subject-Out交叉验证中达到了96.00%的准确率，并且在与六种传统特征选择方法比较时，计算成本降低了25%。

🔬 方法详解

问题定义：本文旨在解决现有单模态压力检测方法准确性不足及高计算成本的问题。现有方法在处理高维特征时面临计算复杂度的挑战。

核心思路：论文提出的解决方案是通过中间多模态融合网络，结合流形学习进行降维，从而简化数据处理并提高准确性。这样的设计旨在在保持高准确率的同时，降低计算复杂度。

技术框架：整体架构包括多个模块：首先，使用1D-CNN处理生物信号，2D-CNN处理面部特征，生成独立表示；然后，将这些特征进行融合，输入到另一层1D-CNN，最后通过全连接层进行分类。

关键创新：最重要的技术创新在于引入流形学习的中间融合方法，特别是多维尺度法（MDS），在准确性和计算效率上均表现出色。与传统方法相比，MDS在处理高维数据时展现了更好的性能。

关键设计：在网络设计中，采用了1D-CNN和2D-CNN的组合结构，损失函数设计为适应多模态特征的融合，参数设置经过多次实验验证，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用MDS流形方法的中间融合网络在Leave-One-Subject-Out交叉验证中达到了96.00%的准确率，显著优于其他降维方法。同时，该方法在计算成本上较六种传统特征选择方法降低了25%。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、情绪识别和人机交互等。通过准确检测压力水平，可以为心理健康干预提供数据支持，具有重要的实际价值和社会影响。未来，该方法还可以扩展到其他生理信号的分析与处理。

📄 摘要（原文）

Multimodal deep learning methods capture synergistic features from multiple modalities and have the potential to improve accuracy for stress detection compared to unimodal methods. However, this accuracy gain typically comes from high computational cost due to the high-dimensional feature spaces, especially for intermediate fusion. Dimensionality reduction is one way to optimize multimodal learning by simplifying data and making the features more amenable to processing and analysis, thereby reducing computational complexity. This paper introduces an intermediate multimodal fusion network with manifold learning-based dimensionality reduction. The multimodal network generates independent representations from biometric signals and facial landmarks through 1D-CNN and 2D-CNN. Finally, these features are fused and fed to another 1D-CNN layer, followed by a fully connected dense layer. We compared various dimensionality reduction techniques for different variations of unimodal and multimodal networks. We observe that the intermediate-level fusion with the Multi-Dimensional Scaling (MDS) manifold method showed promising results with an accuracy of 96.00\% in a Leave-One-Subject-Out Cross-Validation (LOSO-CV) paradigm over other dimensional reduction methods. MDS had the highest computational cost among manifold learning methods. However, while outperforming other networks, it managed to reduce the computational cost of the proposed networks by 25\% when compared to six well-known conventional feature selection methods used in the preprocessing step.