Socially Aware Synthetic Data Generation for Suicidal Ideation Detection Using Large Language Models

📄 arXiv: 2402.01712v1 📥 PDF

作者: Hamideh Ghanadian, Isar Nejadgholi, Hussein Al Osman

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-25

期刊: IEEE Access

DOI: 10.1109/ACCESS.2024.3358206

💡 一句话要点

提出基于生成AI的合成数据生成方法以解决自杀意念检测数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自杀意念检测 合成数据生成 生成AI 心理健康 机器学习 数据稀缺 自然语言处理

📋 核心要点

  1. 现有自杀意念检测方法面临数据稀缺和标注困难的问题，影响模型的训练效果。
  2. 本文提出利用生成AI模型生成合成数据，结合心理学社会因素，以丰富数据集并提高检测效果。
  3. 实验结果显示，使用合成数据的方法在F1-score上达到了0.88，显著提升了模型性能，尤其是在与真实数据结合时。

📝 摘要（中文）

自杀意念检测是一个重要的研究领域，对于改善心理健康支持系统具有巨大潜力。然而，围绕自杀相关数据的敏感性使得获取大规模标注数据集面临挑战。为了解决这一限制，本文提出了一种创新策略，利用生成AI模型（如ChatGPT、Flan-T5和Llama）生成合成数据，以支持自杀意念检测。我们的数据生成方法基于心理学文献中提取的社会因素，确保涵盖与自杀意念相关的重要信息。实验结果表明，基于合成数据的方法在性能上显著优于传统模型，尤其是在数据稀缺的情况下，展示了其成本效益和潜力。

🔬 方法详解

问题定义：本文旨在解决自杀意念检测中由于数据稀缺和标注困难导致的模型训练效果不佳的问题。现有方法通常依赖于有限的真实数据，难以覆盖多样化的自杀意念表现。

核心思路：我们提出了一种基于生成AI的合成数据生成方法，利用ChatGPT等模型生成与自杀意念相关的合成文本数据，确保涵盖心理学文献中的社会因素，从而丰富训练数据集。

技术框架：整体架构包括数据生成模块和模型训练模块。首先，通过生成AI模型生成合成数据，然后将合成数据与真实数据结合，最后使用BERT等模型进行训练和评估。

关键创新：最重要的创新在于将社会因素融入合成数据生成过程，确保生成数据的多样性和相关性。这一方法与传统依赖真实数据的方式本质上不同，能够有效缓解数据稀缺问题。

关键设计：在合成数据生成过程中，设置了特定的参数以控制生成文本的主题和风格，使用了适当的损失函数来优化生成模型的输出质量，确保生成数据的有效性和实用性。通过这种设计，我们能够生成高质量的合成数据，支持后续的模型训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于合成数据的方法在F1-score上达到了0.88，相较于传统模型的0.75至0.87的范围有显著提升。当将30%的真实数据与合成数据结合时，模型性能显著增强，展示了合成数据在提升模型效果方面的潜力。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、社交媒体内容分析和危机干预系统。通过生成合成数据，能够为自杀意念检测提供更丰富的训练数据，提升模型的准确性和可靠性，从而在实际应用中更好地支持心理健康服务。未来，该方法也可扩展到其他领域的数据生成任务，具有广泛的应用价值。

📄 摘要（原文）

Suicidal ideation detection is a vital research area that holds great potential for improving mental health support systems. However, the sensitivity surrounding suicide-related data poses challenges in accessing large-scale, annotated datasets necessary for training effective machine learning models. To address this limitation, we introduce an innovative strategy that leverages the capabilities of generative AI models, such as ChatGPT, Flan-T5, and Llama, to create synthetic data for suicidal ideation detection. Our data generation approach is grounded in social factors extracted from psychology literature and aims to ensure coverage of essential information related to suicidal ideation. In our study, we benchmarked against state-of-the-art NLP classification models, specifically, those centered around the BERT family structures. When trained on the real-world dataset, UMD, these conventional models tend to yield F1-scores ranging from 0.75 to 0.87. Our synthetic data-driven method, informed by social factors, offers consistent F1-scores of 0.82 for both models, suggesting that the richness of topics in synthetic data can bridge the performance gap across different model complexities. Most impressively, when we combined a mere 30% of the UMD dataset with our synthetic data, we witnessed a substantial increase in performance, achieving an F1-score of 0.88 on the UMD test set. Such results underscore the cost-effectiveness and potential of our approach in confronting major challenges in the field, such as data scarcity and the quest for diversity in data representation.