DIVERSE: A Dataset of YouTube Video Comment Stances with a Data Programming Model
作者: Iain J. Cruickshank, Amir Soofi, Lynnette Hui Xian Ng
分类: cs.CL, cs.AI
发布日期: 2024-03-05 (更新: 2024-10-29)
备注: Accepted at IEEE Big Data 2024
💡 一句话要点
提出DIVERSE数据集以解决军事招募舆论分析问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 军事招募 舆论分析 社交媒体 弱监督学习 大型语言模型 数据集 态度标注
📋 核心要点
- 现有方法在军事招募舆论分析中缺乏足够的数据和有效的态度标注，导致理解公众看法的困难。
- 论文提出DIVERSE数据集，利用弱监督学习和大型语言模型对YouTube评论进行态度标注，降低了人工标注的资源消耗。
- 研究结果显示，自2021年起，美国陆军视频的评论数量显著增加，态度分布相对均衡，但反对意见略多于支持意见。
📝 摘要（中文）
公众对军事组织的看法显著影响其招募人才的能力。随着招募活动逐渐向社交媒体等数字空间延伸，评估社交媒体用户对在线军事内容的态度变得至关重要。然而，关于军事招募在线舆论的数据严重不足，且态度标注面临挑战。本文通过引入并发布DIVERSE数据集，解决了态度标注的难题和公众意见数据的稀缺性。该数据集包含美国陆军官方YouTube频道视频的所有评论，采用先进的弱监督方法，利用大型语言模型标注每条评论的态度。研究发现，自2021年起，美国陆军的视频吸引了大量评论，态度分布在支持、反对和中立之间相对平衡，但略偏向反对意见。
🔬 方法详解
问题定义：本研究旨在解决军事招募舆论分析中缺乏数据和有效态度标注的问题。现有方法在标注过程中资源消耗大，且数据稀缺，影响了对公众看法的深入理解。
核心思路：论文通过引入DIVERSE数据集，采用弱监督学习的方法，利用大型语言模型自动标注评论的态度，旨在降低人工标注的需求和成本。
技术框架：整体架构包括数据收集、评论预处理、态度标注和结果分析四个主要模块。首先从美国陆军的YouTube频道收集评论，然后进行数据清洗和预处理，接着利用语言模型进行态度标注，最后分析标注结果。
关键创新：最重要的技术创新在于采用弱监督学习结合大型语言模型进行态度标注，这一方法显著提高了标注效率和准确性，与传统的人工标注方法相比，降低了资源消耗。
关键设计：在模型设计中，采用了特定的损失函数以优化标注准确性，并调整了模型参数以适应军事内容的特性，确保标注结果的可靠性。具体的网络结构和参数设置在论文中详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，自2021年起，美国陆军视频的评论数量显著增加，态度分布在支持、反对和中立之间相对均衡，反对意见略多于支持意见。这一发现为军事招募策略的调整提供了重要依据。
🎯 应用场景
该研究的潜在应用领域包括军事招募、社交媒体舆情分析和公共政策制定。通过分析公众对军事内容的态度，军事组织可以更有效地调整其招募策略，提升招募效果。此外，该方法也可推广至其他领域的舆论分析，具有广泛的实际价值和影响力。
📄 摘要（原文）
Public opinion of military organizations significantly influences their ability to recruit talented individuals. As recruitment efforts increasingly extend into digital spaces like social media, it becomes essential to assess the stance of social media users toward online military content. However, there is a notable lack of data for analyzing opinions on military recruiting efforts online, compounded by challenges in stance labeling, which is crucial for understanding public perceptions. Despite the importance of stance analysis for successful online military recruitment, creating human-annotated, in-domain stance labels is resource-intensive. In this paper, we address both the challenges of stance labeling and the scarcity of data on public opinions of online military recruitment by introducing and releasing the DIVERSE dataset: https://doi.org/10.5281/zenodo.10493803. This dataset comprises all comments from the U.S. Army's official YouTube Channel videos. We employed a state-of-the-art weak supervision approach, leveraging large language models to label the stance of each comment toward its respective video and the U.S. Army. Our findings indicate that the U.S. Army's videos began attracting a significant number of comments post-2021, with the stance distribution generally balanced among supportive, oppositional, and neutral comments, with a slight skew towards oppositional versus supportive comments.