MOGAM: A Multimodal Object-oriented Graph Attention Model for Depression Detection

📄 arXiv: 2403.15485v1 📥 PDF

作者: Junyeop Cha, Seoyun Kim, Dongjae Kim, Eunil Park

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-21

备注: 12 pages, 3 figures, 4 tables

💡 一句话要点

提出MOGAM以解决社交媒体抑郁症早期检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抑郁症检测 多模态融合 图注意力机制 社交媒体分析 视频理解 临床诊断

📋 核心要点

  1. 现有方法多依赖特定特征，导致在不同社交媒体数据集上的可扩展性有限，影响抑郁症的早期检测效果。
  2. 本文提出的MOGAM模型采用多模态方法，结合视频、文本及元数据，利用图注意力机制有效聚合特征。
  3. MOGAM在实验中取得了0.871的准确率和0.888的F1分数，验证了其在不同数据集上的可扩展性和有效性。

📝 摘要（中文）

早期检测在抑郁症治疗中至关重要，因此许多研究集中在社交媒体平台，旨在实现抑郁症的早期检测。然而，现有方法往往依赖特定特征，导致在不同社交媒体数据集（如文本、图像或视频）上的可扩展性有限。为此，本文提出了一种多模态面向对象的图注意力模型（MOGAM），能够应用于多种数据类型，提供更具可扩展性和多样性的解决方案。此外，为确保模型能够捕捉到真实的抑郁症状，研究仅包含经过临床诊断的用户的vlog。通过采用多模态方法，收集了vlog的标题、描述和时长等附加元数据。MOGAM实现了0.871的准确率和0.888的F1分数，并在基准数据集上验证了其可扩展性，取得了与先前研究相当的结果（0.61 F1分数）。

🔬 方法详解

问题定义：本文旨在解决社交媒体上抑郁症早期检测的可扩展性问题。现有方法往往依赖于特定特征，难以适应不同类型的数据集。

核心思路：MOGAM模型通过多模态融合，结合视频、文本及元数据，采用图注意力机制来有效捕捉抑郁症状，提升检测准确性。

技术框架：MOGAM的整体架构包括数据预处理、特征提取、图构建和注意力机制等主要模块。通过跨注意力机制聚合不同模态的特征，增强模型的表达能力。

关键创新：MOGAM的核心创新在于其多模态对象导向的图注意力机制，能够同时处理多种数据类型，克服了传统方法的局限性。

关键设计：模型设计中采用了特定的损失函数以优化多模态特征的融合效果，并通过调整注意力权重来增强重要特征的影响力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MOGAM在实验中取得了0.871的准确率和0.888的F1分数，显示出其在抑郁症检测中的有效性。同时，在基准数据集上的表现也与先前研究相当，F1分数达到0.61，验证了模型的可扩展性。

🎯 应用场景

MOGAM模型在社交媒体抑郁症检测中具有广泛的应用潜力，能够帮助心理健康专业人士更早地识别抑郁症患者，从而提供及时的干预和治疗。此外，该模型的多模态特性使其能够适应不同类型的数据，具有良好的推广价值。

📄 摘要（原文）

Early detection plays a crucial role in the treatment of depression. Therefore, numerous studies have focused on social media platforms, where individuals express their emotions, aiming to achieve early detection of depression. However, the majority of existing approaches often rely on specific features, leading to limited scalability across different types of social media datasets, such as text, images, or videos. To overcome this limitation, we introduce a Multimodal Object-Oriented Graph Attention Model (MOGAM), which can be applied to diverse types of data, offering a more scalable and versatile solution. Furthermore, to ensure that our model can capture authentic symptoms of depression, we only include vlogs from users with a clinical diagnosis. To leverage the diverse features of vlogs, we adopt a multimodal approach and collect additional metadata such as the title, description, and duration of the vlogs. To effectively aggregate these multimodal features, we employed a cross-attention mechanism. MOGAM achieved an accuracy of 0.871 and an F1-score of 0.888. Moreover, to validate the scalability of MOGAM, we evaluated its performance with a benchmark dataset and achieved comparable results with prior studies (0.61 F1-score). In conclusion, we believe that the proposed model, MOGAM, is an effective solution for detecting depression in social media, offering potential benefits in the early detection and treatment of this mental health condition.