COVID-19 Vaccine Misinformation in Middle Income Countries

📄 arXiv: 2311.18195v1 📥 PDF

作者: Jongin Kim, Byeo Rhee Bak, Aditya Agrawal, Jiaxi Wu, Veronika J. Wirtz, Traci Hong, Derry Wijaya

分类: cs.CL, cs.IR

发布日期: 2023-11-30

备注: Accepted to EMNLP 2023 (Main conference), 9 pages, 5 figures

💡 一句话要点

提出多语言数据集以解决中等收入国家疫苗虚假信息问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 疫苗虚假信息 多语言数据集 模型训练 文本增强 公共卫生监测

📋 核心要点

  1. 现有方法在中等收入国家的COVID-19疫苗虚假信息检测中面临领域特异性、数据不平衡和低资源环境等挑战。
  2. 论文提出通过领域特定预训练和文本增强来构建虚假信息检测模型，以提高检测准确性。
  3. 实验结果显示，最佳模型在宏观F1分数上较基线模型提升了2.7到15.9个百分点，验证了方法的有效性。

📝 摘要（中文）

本文介绍了一个多语言的COVID-19疫苗虚假信息数据集，包含来自巴西、印度尼西亚和尼日利亚的注释推文。该数据集经过专家精心策划，共包含5,952条推文，评估其与COVID-19疫苗的相关性、虚假信息的存在及其主题。为应对领域特异性、低资源环境和数据不平衡等挑战，本文采用了领域特定的预训练和使用大型语言模型的文本增强方法。我们的最佳虚假信息检测模型在宏观F1分数上较基线模型提高了2.7到15.9个百分点。此外，我们还在2020至2022年间对来自三个国家的1900万条未标记推文进行了大规模研究，展示了数据集和模型在多国多语言中检测和分析疫苗虚假信息的实际应用。分析表明，巴西和印度尼西亚的新COVID-19病例数变化与疫苗虚假信息率呈正相关。

🔬 方法详解

问题定义：本文旨在解决中等收入国家COVID-19疫苗虚假信息的检测问题。现有方法在处理领域特异性和数据不平衡时效果不佳，尤其是在低资源环境下。

核心思路：论文的核心思路是结合领域特定的预训练和文本增强技术，以提高虚假信息检测模型的性能。这种设计旨在利用已有的语言模型知识，增强模型对特定领域信息的理解能力。

技术框架：整体架构包括数据收集、注释、模型训练和评估四个主要模块。首先，收集并注释推文数据；其次，进行模型的领域特定预训练；然后，应用文本增强技术；最后，评估模型性能。

关键创新：最重要的技术创新点在于结合领域特定的预训练与文本增强方法，这与传统的通用模型训练方法有本质区别，能够更好地适应特定领域的虚假信息检测需求。

关键设计：在模型设计中，采用了特定的损失函数以优化虚假信息的检测效果，并在网络结构上进行了调整，以适应多语言数据集的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳虚假信息检测模型在宏观F1分数上较基线模型提升了2.7到15.9个百分点，验证了模型在多语言环境下的有效性。此外，模型在对1900万条未标记推文的分析中，揭示了疫苗虚假信息与COVID-19病例数变化的正相关性。

🎯 应用场景

该研究的潜在应用领域包括公共卫生监测、社交媒体内容审核和虚假信息防控。通过有效检测疫苗虚假信息，可以帮助政府和组织制定更有效的传播策略，提高公众对疫苗的信任度，进而促进疫苗接种率的提升。未来，该模型和数据集可扩展至其他公共卫生危机的信息管理。

📄 摘要（原文）

This paper introduces a multilingual dataset of COVID-19 vaccine misinformation, consisting of annotated tweets from three middle-income countries: Brazil, Indonesia, and Nigeria. The expertly curated dataset includes annotations for 5,952 tweets, assessing their relevance to COVID-19 vaccines, presence of misinformation, and the themes of the misinformation. To address challenges posed by domain specificity, the low-resource setting, and data imbalance, we adopt two approaches for developing COVID-19 vaccine misinformation detection models: domain-specific pre-training and text augmentation using a large language model. Our best misinformation detection models demonstrate improvements ranging from 2.7 to 15.9 percentage points in macro F1-score compared to the baseline models. Additionally, we apply our misinformation detection models in a large-scale study of 19 million unlabeled tweets from the three countries between 2020 and 2022, showcasing the practical application of our dataset and models for detecting and analyzing vaccine misinformation in multiple countries and languages. Our analysis indicates that percentage changes in the number of new COVID-19 cases are positively associated with COVID-19 vaccine misinformation rates in a staggered manner for Brazil and Indonesia, and there are significant positive associations between the misinformation rates across the three countries.