Evaluating Large Language Models for Health-Related Text Classification Tasks with Public Social Media Data

📄 arXiv: 2403.19031v1 📥 PDF

作者: Yuting Guo, Anthony Ovadje, Mohammed Ali Al-Garadi, Abeed Sarker

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-27

💡 一句话要点

提出基于LLM的健康相关文本分类方法以提升社交媒体数据处理效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本分类 数据增强 社交媒体分析 健康信息处理

📋 核心要点

  1. 现有方法在社交媒体健康相关文本分类任务中难以取得高分，缺乏有效的评估研究。
  2. 论文提出利用LLM作为零-shot分类器、数据标注工具和数据增强方法，提升文本分类效果。
  3. 实验表明，使用LLM进行数据增强的模型在性能上优于仅依赖人工标注的数据，且监督学习模型在零-shot设置中表现更佳。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理（NLP）任务中表现出色，但在基于社交媒体的健康相关文本分类任务中，相关研究较少。本文对比了经典支持向量机（SVM）模型、三种预训练语言模型（RoBERTa、BERTweet和SocBERT）以及两种LLM分类器（GPT-3.5和GPT-4）在六个文本分类任务中的表现。我们提出了三种利用LLM进行文本分类的方法，包括零-shot分类、使用LLM进行数据标注以及利用少量示例进行数据增强。实验结果表明，使用GPT-4进行数据增强的轻量级监督分类模型在效果上优于仅依赖人工标注的数据。尽管监督学习模型在零-shot设置中表现优于GPT-4和GPT-3.5，但LLM作为零-shot分类器在减少假阴性方面显示出潜力，未来需要进一步探索最佳训练数据规模和增强数据量。

🔬 方法详解

问题定义：本文旨在解决社交媒体健康相关文本分类任务中，现有方法难以取得高分的问题，尤其是在数据标注和模型训练方面的挑战。

核心思路：通过引入大型语言模型（LLMs），本文提出三种方法来提升文本分类的效果，特别是在数据稀缺的情况下，利用LLMs的强大能力进行数据增强和标注。

技术框架：整体架构包括三个主要模块：1) 零-shot分类器，直接使用LLMs进行分类；2) 数据标注，利用LLMs为训练数据进行标注；3) 数据增强，结合少量人工标注数据与LLMs生成的数据进行训练。

关键创新：最重要的创新在于通过LLMs进行数据增强，显著提升了轻量级监督分类模型的性能，尤其是在数据量有限的情况下，展示了LLMs的潜力。

关键设计：在实验中，使用了不同的模型架构（如SVM、RoBERTa等），并对LLMs的使用进行了细致的参数调优，以确保在不同任务中的最佳表现。

📊 实验亮点

实验结果显示，使用GPT-4进行数据增强的轻量级监督分类模型在六个文本分类任务中表现优于仅依赖人工标注的数据，尤其在数据稀缺的情况下，提升幅度显著。此外，监督学习模型在零-shot设置中超越了GPT-4和GPT-3.5，展示了其在特定领域的优势。

🎯 应用场景

该研究的潜在应用领域包括医疗健康社交媒体监测、公共卫生信息传播和健康相关情感分析等。通过提升文本分类的准确性，可以更好地理解公众对健康信息的反应，从而为政策制定和健康教育提供数据支持。未来，随着技术的进步，LLMs在医疗领域的应用将更加广泛，可能会影响健康信息的传播和管理方式。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable success in NLP tasks. However, there is a paucity of studies that attempt to evaluate their performances on social media-based health-related natural language processing tasks, which have traditionally been difficult to achieve high scores in. We benchmarked one supervised classic machine learning model based on Support Vector Machines (SVMs), three supervised pretrained language models (PLMs) based on RoBERTa, BERTweet, and SocBERT, and two LLM based classifiers (GPT3.5 and GPT4), across 6 text classification tasks. We developed three approaches for leveraging LLMs for text classification: employing LLMs as zero-shot classifiers, us-ing LLMs as annotators to annotate training data for supervised classifiers, and utilizing LLMs with few-shot examples for augmentation of manually annotated data. Our comprehensive experiments demonstrate that employ-ing data augmentation using LLMs (GPT-4) with relatively small human-annotated data to train lightweight supervised classification models achieves superior results compared to training with human-annotated data alone. Supervised learners also outperform GPT-4 and GPT-3.5 in zero-shot settings. By leveraging this data augmentation strategy, we can harness the power of LLMs to develop smaller, more effective domain-specific NLP models. LLM-annotated data without human guidance for training light-weight supervised classification models is an ineffective strategy. However, LLM, as a zero-shot classifier, shows promise in excluding false negatives and potentially reducing the human effort required for data annotation. Future investigations are imperative to explore optimal training data sizes and the optimal amounts of augmented data.