Harnessing Large Language Models Over Transformer Models for Detecting Bengali Depressive Social Media Text: A Comprehensive Study

📄 arXiv: 2401.07310v1 📥 PDF

作者: Ahmadul Karim Chowdhury, Md. Saidur Rahman Sujon, Md. Shirajus Salekin Shafi, Tasin Ahmmad, Sifat Ahmed, Khan Md Hasib, Faisal Muhammad Shah

分类: cs.CL

发布日期: 2024-01-14

💡 一句话要点

提出DepGPT模型以解决孟加拉社交媒体抑郁文本检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抑郁检测 大型语言模型 深度学习 社交媒体分析 孟加拉语处理 Transformer模型 情感计算

📋 核心要点

  1. 现有方法在抑郁症检测中面临语言和文化适应性不足的挑战，尤其是在孟加拉语社交媒体文本中。
  2. 本研究提出了DepGPT模型，结合了大型语言模型和深度学习技术，以提高抑郁文本的检测准确性。
  3. 实验结果显示，DepGPT在零样本和少样本学习中表现优异，准确率和F1-score均超过其他对比模型。

📝 摘要（中文）

在全球抑郁症未被充分诊断的背景下，本研究探讨了心理健康与社交媒体之间的重要联系。研究重点是利用大型语言模型（LLMs）如GPT 3.5、GPT 4及我们提出的微调模型DepGPT，结合深度学习模型（LSTM、Bi-LSTM等）和Transformer模型（BERT等），对社交媒体用户的抑郁进行早期检测。通过将Reddit和X数据集分类为“抑郁”和“非抑郁”两部分，并由心理健康领域的母语者翻译成孟加拉语，创建了孟加拉社交媒体抑郁数据集（BSMDD）。研究展示了各模型的架构细节及其在抑郁文本分类中的性能评估方法，结果表明DepGPT在零样本和少样本学习中表现优异，准确率达到0.9796，F1-score为0.9804。

🔬 方法详解

问题定义：本研究旨在解决孟加拉语社交媒体文本中抑郁症的早期检测问题。现有方法在语言适应性和模型性能上存在不足，难以有效识别抑郁文本。

核心思路：论文提出的核心思路是利用大型语言模型（LLMs）和深度学习模型的结合，特别是微调的DepGPT模型，以提高对抑郁文本的分类能力。通过对模型进行针对性的训练和评估，提升其在特定语言环境下的表现。

技术框架：整体架构包括数据预处理、模型选择与训练、性能评估等多个阶段。首先，构建孟加拉社交媒体抑郁数据集（BSMDD），然后使用多种模型（如SahajBERT和Bi-LSTM）进行训练，最后通过零样本和少样本学习技术评估模型性能。

关键创新：本研究的主要创新在于提出了DepGPT模型，并展示其在抑郁文本检测中的优越性，尤其是在零样本和少样本学习场景下的表现，显著优于现有的其他模型。

关键设计：在模型设计中，使用了FastText嵌入作为特征表示，结合Bi-LSTM结构以增强模型的上下文理解能力。同时，采用了适合孟加拉语的损失函数和优化策略，以提高模型的训练效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DepGPT模型在零样本和少样本学习中表现优异，准确率达到0.9796，F1-score为0.9804，显著优于其他对比模型如GPT-3.5 Turbo和Alpaca Lora 7B，展示了其在抑郁文本检测中的有效性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、社交媒体内容分析和情感计算等。通过早期检测抑郁症，能够为心理健康干预提供数据支持，帮助相关机构及时采取措施，改善用户的心理健康状况。未来，该技术有望扩展到其他语言和文化背景下的抑郁检测。

📄 摘要（原文）

In an era where the silent struggle of underdiagnosed depression pervades globally, our research delves into the crucial link between mental health and social media. This work focuses on early detection of depression, particularly in extroverted social media users, using LLMs such as GPT 3.5, GPT 4 and our proposed GPT 3.5 fine-tuned model DepGPT, as well as advanced Deep learning models(LSTM, Bi-LSTM, GRU, BiGRU) and Transformer models(BERT, BanglaBERT, SahajBERT, BanglaBERT-Base). The study categorized Reddit and X datasets into "Depressive" and "Non-Depressive" segments, translated into Bengali by native speakers with expertise in mental health, resulting in the creation of the Bengali Social Media Depressive Dataset (BSMDD). Our work provides full architecture details for each model and a methodical way to assess their performance in Bengali depressive text categorization using zero-shot and few-shot learning techniques. Our work demonstrates the superiority of SahajBERT and Bi-LSTM with FastText embeddings in their respective domains also tackles explainability issues with transformer models and emphasizes the effectiveness of LLMs, especially DepGPT, demonstrating flexibility and competence in a range of learning contexts. According to the experiment results, the proposed model, DepGPT, outperformed not only Alpaca Lora 7B in zero-shot and few-shot scenarios but also every other model, achieving a near-perfect accuracy of 0.9796 and an F1-score of 0.9804, high recall, and exceptional precision. Although competitive, GPT-3.5 Turbo and Alpaca Lora 7B show relatively poorer effectiveness in zero-shot and few-shot situations. The work emphasizes the effectiveness and flexibility of LLMs in a variety of linguistic circumstances, providing insightful information about the complex field of depression detection models.