Multi-Label Classification of COVID-Tweets Using Large Language Models
作者: Aniket Deroy, Subhankar Maity
分类: cs.CL, cs.SI
发布日期: 2023-12-17
🔗 代码/项目: GITHUB
💡 一句话要点
利用大型语言模型进行COVID相关推文的多标签分类，提升疫苗态度分析精度。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多标签分类 BERT COVID-19 疫苗态度 社交媒体分析 自然语言处理 预训练模型
📋 核心要点
- 现有方法难以准确识别社交媒体中针对疫苗的多种复杂观点和潜在担忧。
- 采用监督式BERT-large-uncased模型，学习推文文本特征与疫苗相关关注标签之间的映射关系。
- 实验结果表明，该模型在多标签分类任务中表现出色，宏平均F1值达到0.66。
📝 摘要（中文）
本研究旨在构建一个有效的多标签分类器，用于根据社交媒体帖子（特别是推文）的作者表达的对疫苗的特定关注点进行标记。疫苗接种对于最大限度地降低各种疾病的风险和传播至关重要，但许多人对疫苗的使用持怀疑态度。我们尝试了三种不同的模型：（a）监督式BERT-large-uncased，（b）监督式HateXplain模型，以及（c）零样本GPT-3.5 Turbo模型。结果表明，监督式BERT-large-uncased模型表现最佳，宏平均F1值为0.66，Jaccard相似度得分为0.66，并在所有提交结果中排名第六。代码可在https://github.com/anonmous1981/AISOME 获取。
🔬 方法详解
问题定义：论文旨在解决COVID-19疫情期间，社交媒体上关于疫苗的推文进行多标签分类的问题。现有方法难以准确捕捉推文中表达的多种复杂观点和潜在担忧，例如政治因素、副作用等，导致分类精度不高。
核心思路：论文的核心思路是利用大型预训练语言模型（特别是BERT-large-uncased）强大的文本理解能力，学习推文文本特征与疫苗相关关注标签之间的映射关系。通过监督学习的方式，使模型能够自动识别推文中表达的多种疫苗相关观点。
技术框架：整体框架包括数据预处理、模型训练和评估三个主要阶段。首先，对推文数据进行清洗和预处理，例如去除噪声、分词等。然后，使用预训练的BERT-large-uncased模型，并在其基础上添加一个多标签分类层。最后，使用标注好的数据集对模型进行训练，并使用宏平均F1值和Jaccard相似度等指标评估模型的性能。
关键创新：该研究的关键创新在于将大型预训练语言模型应用于COVID-19相关推文的多标签分类任务中，充分利用了预训练模型强大的文本理解能力，从而提高了分类精度。此外，该研究还比较了不同模型的性能，包括BERT-large-uncased、HateXplain和GPT-3.5 Turbo，为后续研究提供了参考。
关键设计：论文使用了预训练的BERT-large-uncased模型，并在此基础上添加了一个线性层作为多标签分类器。损失函数使用了二元交叉熵损失函数，优化器使用了AdamW优化器。训练过程中，使用了适当的学习率和batch size，并通过早停策略防止过拟合。具体参数设置未在摘要中详细说明，需要参考论文全文。
📊 实验亮点
实验结果表明，监督式BERT-large-uncased模型在多标签分类任务中表现最佳，宏平均F1值为0.66，Jaccard相似度得分为0.66，并在所有提交结果中排名第六。这表明大型预训练语言模型在处理社交媒体文本分类任务方面具有显著优势。
🎯 应用场景
该研究成果可应用于舆情监控、疫苗推广策略制定、公共卫生政策评估等领域。通过自动分析社交媒体上关于疫苗的观点，可以帮助政府和卫生机构了解公众对疫苗的认知和态度，从而制定更有效的沟通策略，提高疫苗接种率，最终控制疫情传播。
📄 摘要（原文）
Vaccination is important to minimize the risk and spread of various diseases. In recent years, vaccination has been a key step in countering the COVID-19 pandemic. However, many people are skeptical about the use of vaccines for various reasons, including the politics involved, the potential side effects of vaccines, etc. The goal in this task is to build an effective multi-label classifier to label a social media post (particularly, a tweet) according to the specific concern(s) towards vaccines as expressed by the author of the post. We tried three different models-(a) Supervised BERT-large-uncased, (b) Supervised HateXplain model, and (c) Zero-Shot GPT-3.5 Turbo model. The Supervised BERT-large-uncased model performed best in our case. We achieved a macro-F1 score of 0.66, a Jaccard similarity score of 0.66, and received the sixth rank among other submissions. Code is available at-https://github.com/anonmous1981/AISOME