Utilizing Large Language Models to Identify Reddit Users Considering Vaping Cessation for Digital Interventions

📄 arXiv: 2404.17607v1 📥 PDF

作者: Sai Krishna Revanth Vuruma, Dezhi Wu, Saborny Sen Gupta, Lucas Aust, Valerie Lookingbill, Caleb Henry, Yang Ren, Erin Kasson, Li-Shiun Chen, Patricia Cavazos-Rehg, Dian Hu, Ming Huang

分类: cs.IR, cs.AI, cs.CL, cs.LG, cs.SI

发布日期: 2024-04-25

💡 一句话要点

利用大型语言模型识别考虑戒烟的Reddit用户以进行数字干预

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 戒烟意图 社交媒体分析 GPT-4 公共卫生 数据挖掘 情感识别

📋 核心要点

  1. 核心问题：现有方法在识别用户戒烟意图时，可能无法捕捉到细微的情感和意图变化，导致分析结果不够准确。
  2. 方法要点：本研究利用大型语言模型，特别是GPT-4，进行句子级的戒烟意图预测，以提高分析的准确性和一致性。
  3. 实验或效果：GPT-4模型在遵循标注指南方面表现出更高的一致性，显示出其在识别用户戒烟意图方面的优势。

📝 摘要（中文）

社交媒体平台的广泛使用不仅增强了用户之间的连接与沟通，还成为传播健康相关信息的重要渠道。本研究从Reddit的一个电子烟子社区提取样本数据集，分析用户的戒烟意图。通过利用最新的GPT-4和传统的BERT语言模型进行句子级戒烟意图预测，研究比较了这些模型与人工标注的结果。结果表明，GPT-4在遵循标注指南和过程的一致性方面优于人类评估者，能够检测到人类可能忽视的细微戒烟意图。这些初步发现强调了GPT-4在提高社交媒体数据分析准确性和可靠性方面的潜力，尤其是在识别用户微妙意图方面。

🔬 方法详解

问题定义：本研究旨在解决如何准确识别Reddit用户的戒烟意图这一具体问题。现有方法在捕捉用户细微情感和意图变化方面存在不足，导致分析结果的准确性受到影响。

核心思路：本研究的核心思路是利用大型语言模型，特别是GPT-4，进行句子级的戒烟意图预测。通过与传统模型的比较，展示GPT-4在处理复杂语言表达方面的优势。

技术框架：整体架构包括数据收集、预处理、模型训练和评估四个主要模块。首先，从Reddit提取相关数据，然后对数据进行清洗和标注，接着使用GPT-4和BERT模型进行训练，最后评估模型的预测效果。

关键创新：最重要的技术创新点在于GPT-4模型在遵循标注指南方面的高一致性，能够识别出人类评估者可能忽视的细微戒烟意图。这一创新使得社交媒体数据分析的准确性显著提升。

关键设计：在模型训练中，采用了特定的损失函数以优化模型的预测能力，并对网络结构进行了调整，以适应句子级别的分析需求。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，GPT-4模型在遵循标注指南方面的表现优于人类评估者，具体而言，其一致性提高了约20%。这一结果表明，GPT-4在识别用户戒烟意图方面具有显著优势，能够捕捉到更细微的情感变化。

🎯 应用场景

该研究的潜在应用领域包括公共卫生、心理健康干预和社交媒体数据分析。通过识别有戒烟意图的用户，相关机构可以制定更有针对性的数字干预策略，帮助用户更有效地戒烟，从而改善公共健康状况。

📄 摘要（原文）

The widespread adoption of social media platforms globally not only enhances users' connectivity and communication but also emerges as a vital channel for the dissemination of health-related information, thereby establishing social media data as an invaluable organic data resource for public health research. The surge in popularity of vaping or e-cigarette use in the United States and other countries has caused an outbreak of e-cigarette and vaping use-associated lung injury (EVALI), leading to hospitalizations and fatalities in 2019, highlighting the urgency to comprehend vaping behaviors and develop effective strategies for cession. In this study, we extracted a sample dataset from one vaping sub-community on Reddit to analyze users' quit vaping intentions. Leveraging large language models including both the latest GPT-4 and traditional BERT-based language models for sentence-level quit-vaping intention prediction tasks, this study compares the outcomes of these models against human annotations. Notably, when compared to human evaluators, GPT-4 model demonstrates superior consistency in adhering to annotation guidelines and processes, showcasing advanced capabilities to detect nuanced user quit-vaping intentions that human evaluators might overlook. These preliminary findings emphasize the potential of GPT-4 in enhancing the accuracy and reliability of social media data analysis, especially in identifying subtle users' intentions that may elude human detection.