Hierarchical Multi-Label Classification of Online Vaccine Concerns

📄 arXiv: 2402.01783v1 📥 PDF

作者: Chloe Qinyu Zhu, Rickard Stureborg, Bhuwan Dhingra

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-01

备注: Published in AAAI 2024 Health Intelligence workshop

💡 一句话要点

提出层次化多标签分类方法以识别在线疫苗关注问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 疫苗关注 大型语言模型 多标签分类 在线讨论 公共卫生监测

📋 核心要点

  1. 疫苗关注问题的动态变化使得现有方法难以快速适应新兴的错误信息和公众担忧。
  2. 本文提出了一种利用大型语言模型在零样本设置下进行疫苗关注检测的方法，避免了昂贵的训练数据集需求。
  3. 实验结果显示，GPT-4在疫苗关注分类任务中表现优异，F1分数达到78.7%，显著优于众包标注的准确性。

📝 摘要（中文）

疫苗关注问题随着时间不断演变，尤其在COVID-19大流行期间变化迅速。识别疫苗关注和错误信息的长期趋势可以帮助公共卫生部门更有效地分配资源和信息传播。本文探讨了在零样本设置下，利用大型语言模型（LLMs）检测在线讨论中的疫苗关注问题，而无需昂贵的训练数据集。研究发现，通过多次传递LLM并使用布尔问题判断文本是否提及疫苗关注，能够获得最佳效果。结果表明，GPT-4在与专家提供的VaxConcerns数据集的真实标注对比时，表现出显著优于众包工作者的准确性，整体F1分数达到78.7%。

🔬 方法详解

问题定义：本文旨在解决如何有效识别在线讨论中的疫苗关注问题，现有方法往往依赖于大量标注数据，难以快速适应变化。

核心思路：通过使用大型语言模型（LLMs）在零样本设置下进行分类，利用布尔问题多次传递LLM来判断文本是否涉及疫苗关注，从而降低对训练数据的依赖。

技术框架：整体流程包括数据收集、文本预处理、LLM推理和结果分析。首先收集在线讨论数据，然后对文本进行预处理，接着使用LLM进行多轮推理，最后分析分类结果。

关键创新：最重要的创新在于提出了多次传递LLM的分类策略，这一方法显著提高了分类准确性，并减少了对标注数据的需求。

关键设计：在模型设计中，采用了GPT-4作为基础模型，设置了适当的提示策略以优化推理过程，并通过布尔问题的设计来增强模型的分类能力。实验中还考虑了成本与准确性的权衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在疫苗关注分类任务中取得了78.7%的F1分数，明显优于众包工作者的准确性。这一结果表明，采用多次传递LLM的策略在处理动态变化的在线讨论中具有显著优势，为公共卫生领域提供了新的技术支持。

🎯 应用场景

该研究的潜在应用领域包括公共卫生监测、社交媒体分析和信息传播策略制定。通过实时监测在线讨论中的疫苗关注问题，公共卫生机构可以更有效地应对公众担忧，优化资源分配，提升信息传播的针对性和有效性。未来，该方法还可扩展至其他健康话题的监测与分析。

📄 摘要（原文）

Vaccine concerns are an ever-evolving target, and can shift quickly as seen during the COVID-19 pandemic. Identifying longitudinal trends in vaccine concerns and misinformation might inform the healthcare space by helping public health efforts strategically allocate resources or information campaigns. We explore the task of detecting vaccine concerns in online discourse using large language models (LLMs) in a zero-shot setting without the need for expensive training datasets. Since real-time monitoring of online sources requires large-scale inference, we explore cost-accuracy trade-offs of different prompting strategies and offer concrete takeaways that may inform choices in system designs for current applications. An analysis of different prompting strategies reveals that classifying the concerns over multiple passes through the LLM, each consisting a boolean question whether the text mentions a vaccine concern or not, works the best. Our results indicate that GPT-4 can strongly outperform crowdworker accuracy when compared to ground truth annotations provided by experts on the recently introduced VaxConcerns dataset, achieving an overall F1 score of 78.7%.