MDD-Net: Multimodal Depression Detection through Mutual Transformer

📄 arXiv: 2508.08093v1 📥 PDF

作者: Md Rezwanul Haque, Md. Milon Islam, S M Taslim Uddin Raju, Hamdi Altaheri, Lobna Nassar, Fakhri Karray

分类: cs.CV, cs.LG, cs.MM, eess.AS

发布日期: 2025-08-11

备注: Accepted for the 2025 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Vienna, Austria

🔗 代码/项目: GITHUB

💡 一句话要点

提出MDD-Net以解决多模态抑郁检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态抑郁检测 互变换器 声学特征提取 视觉特征提取 深度学习 心理健康 社交媒体分析

📋 核心要点

  1. 现有的抑郁检测方法往往依赖单一模态，难以全面捕捉情感状态，导致检测效果不佳。
  2. 本文提出的MDD-Net结合声学和视觉数据，通过互变换器高效提取和融合多模态特征，提升抑郁检测的准确性。
  3. 实验结果显示，MDD-Net在F1分数上比现有技术提高了17.37%，验证了其在抑郁检测中的有效性。

📝 摘要（中文）

抑郁症是一种严重影响个人情感和身体健康的心理健康问题。利用社交媒体平台收集数据的简单性引起了人们对心理健康研究的关注。本文提出了一种多模态抑郁检测网络（MDD-Net），利用从社交媒体网络获取的声学和视觉数据，通过互变换器有效提取和融合多模态特征，以实现高效的抑郁检测。MDD-Net由四个核心模块组成：声学特征提取模块、视觉特征提取模块、互变换器和检测层。通过对多模态D-Vlog数据集的广泛实验，结果表明该网络在F1分数上超过了现有技术17.37%，展示了其优越的性能。

🔬 方法详解

问题定义：抑郁症的检测通常依赖于单一模态数据，无法充分利用多模态信息，导致检测准确性不足。现有方法在处理复杂情感状态时面临挑战。

核心思路：MDD-Net通过结合声学和视觉数据，利用互变换器提取和融合多模态特征，从而提高抑郁检测的准确性和效率。该设计旨在充分利用不同模态的信息互补性。

技术框架：MDD-Net的整体架构包括四个主要模块：声学特征提取模块用于提取相关声学属性；视觉特征提取模块用于提取显著的高层模式；互变换器用于计算生成特征之间的相关性并融合多模态特征；检测层用于基于融合特征表示进行抑郁检测。

关键创新：MDD-Net的关键创新在于引入互变换器，能够有效地计算和融合来自不同模态的特征，显著提升了抑郁检测的性能。与传统方法相比，该方法在特征融合上具有更高的灵活性和准确性。

关键设计：在网络设计中，声学和视觉特征提取模块采用了深度学习技术，互变换器的结构经过优化以提高特征融合的效率。损失函数设计为适应多模态数据的特性，确保模型在训练过程中的稳定性和准确性。

📊 实验亮点

实验结果表明，MDD-Net在F1分数上比现有技术提高了17.37%，显示出其在多模态抑郁检测中的显著优势。这一成果不仅验证了模型的有效性，也为未来的研究提供了新的思路和方法。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、社交媒体情感分析以及智能健康管理系统。通过实时监测用户的情感状态，MDD-Net可以为心理健康干预提供数据支持，帮助专业人士制定个性化的治疗方案，具有重要的社会价值和实际意义。

📄 摘要（原文）

Depression is a major mental health condition that severely impacts the emotional and physical well-being of individuals. The simple nature of data collection from social media platforms has attracted significant interest in properly utilizing this information for mental health research. A Multimodal Depression Detection Network (MDD-Net), utilizing acoustic and visual data obtained from social media networks, is proposed in this work where mutual transformers are exploited to efficiently extract and fuse multimodal features for efficient depression detection. The MDD-Net consists of four core modules: an acoustic feature extraction module for retrieving relevant acoustic attributes, a visual feature extraction module for extracting significant high-level patterns, a mutual transformer for computing the correlations among the generated features and fusing these features from multiple modalities, and a detection layer for detecting depression using the fused feature representations. The extensive experiments are performed using the multimodal D-Vlog dataset, and the findings reveal that the developed multimodal depression detection network surpasses the state-of-the-art by up to 17.37% for F1-Score, demonstrating the greater performance of the proposed system. The source code is accessible at https://github.com/rezwanh001/Multimodal-Depression-Detection.