Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model

📄 arXiv: 2404.09045v1 📥 PDF

作者: Zita Lifelo, Huansheng Ning, Sahraoui Dhelim

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2024-04-13

💡 一句话要点

提出跨语言学习的心理健康预测任务解决方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康预测 跨语言学习 元学习 大型语言模型 自监督学习 斯瓦希里语 社交媒体分析

📋 核心要点

  1. 现有研究未能有效处理低资源语言（如斯瓦希里语）社交媒体数据中的心理健康预测问题，导致识别延迟。
  2. 本研究提出利用模型无关的元学习和大型语言模型的上下文学习能力，解决心理健康预测中的跨语言学习挑战。
  3. 实验结果显示，元训练模型在宏观F1分数上比标准微调方法提升18%，并且斯瓦希里语提示的表现优于跨语言提示。

📝 摘要（中文）

及时识别心理健康问题如抑郁症至关重要。然而，现有研究未能充分解决低资源非洲语言（如斯瓦希里语）社交媒体数据中的心理健康状况预测问题。本研究提出两种利用模型无关的元学习和大型语言模型（LLMs）的方法来填补这一空白。实验在三个翻译为低资源语言的数据集上进行，涵盖压力、抑郁、抑郁严重程度和自杀意念预测等四个心理健康任务。我们首先应用自监督的元学习模型，显著提高了模型初始化的快速适应性和跨语言迁移能力。结果表明，元训练模型在宏观F1分数上比标准微调方法提高了18%和0.8%，超越了XLM-R和mBERT。同时，我们利用LLMs的上下文学习能力，评估其在斯瓦希里语心理健康预测任务中的表现，发现斯瓦希里语提示优于跨语言提示，但低于英语提示。研究结果表明，通过精心设计的提示模板和示例，可以实现跨语言迁移的上下文学习。

🔬 方法详解

问题定义：本研究旨在解决低资源非洲语言（如斯瓦希里语）社交媒体数据中心理健康状况预测的不足，现有方法在这一领域的应用效果不佳，导致心理健康问题的及时识别受到影响。

核心思路：论文提出利用模型无关的元学习和大型语言模型的上下文学习能力，通过自监督学习和精心设计的提示模板，提升心理健康预测的准确性和适应性。

技术框架：整体架构包括两个主要模块：首先是元学习模型，通过自监督学习进行快速适应和跨语言迁移；其次是利用LLMs的上下文学习能力，评估不同提示方式的效果。

关键创新：最重要的技术创新在于结合了元学习和大型语言模型的上下文学习，显著提高了模型在低资源语言上的预测性能，与传统的微调方法相比，具有更好的适应性和准确性。

关键设计：在模型训练中，采用了自监督学习策略，设置了合适的损失函数以优化模型性能，并设计了多种提示模板以探索不同语言的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，元训练模型在宏观F1分数上比标准微调方法提升了18%，并在XLM-R和mBERT的基线之上分别提高了0.8%。此外，斯瓦希里语提示的表现优于跨语言提示，表明上下文学习在跨语言迁移中的有效性。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、社交媒体分析和跨语言自然语言处理。通过提高低资源语言的心理健康预测能力，能够帮助相关机构更及时地识别和干预心理健康问题，具有重要的社会价值和实际意义。

📄 摘要（原文）

Timely identification is essential for the efficient handling of mental health illnesses such as depression. However, the current research fails to adequately address the prediction of mental health conditions from social media data in low-resource African languages like Swahili. This study introduces two distinct approaches utilising model-agnostic meta-learning and leveraging large language models (LLMs) to address this gap. Experiments are conducted on three datasets translated to low-resource language and applied to four mental health tasks, which include stress, depression, depression severity and suicidal ideation prediction. we first apply a meta-learning model with self-supervision, which results in improved model initialisation for rapid adaptation and cross-lingual transfer. The results show that our meta-trained model performs significantly better than standard fine-tuning methods, outperforming the baseline fine-tuning in macro F1 score with 18\% and 0.8\% over XLM-R and mBERT. In parallel, we use LLMs' in-context learning capabilities to assess their performance accuracy across the Swahili mental health prediction tasks by analysing different cross-lingual prompting approaches. Our analysis showed that Swahili prompts performed better than cross-lingual prompts but less than English prompts. Our findings show that in-context learning can be achieved through cross-lingual transfer through carefully crafted prompt templates with examples and instructions.