Community Needs and Assets: A Computational Analysis of Community Conversations
作者: Md Towhidul Absar Chowdhury, Naveen Sharma, Ashiqur R. KhudaBukhsh
分类: cs.CY, cs.CL, cs.SI
发布日期: 2024-03-20
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于自然语言处理的社区需求与资产分析方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社区需求分析 自然语言处理 社交媒体 数据集构建 机器学习 分类模型 情感分析
📋 核心要点
- 现有方法在手动分析社交媒体对话时面临挑战，无法有效量化社区需求与资产。
- 论文提出了一种基于自然语言处理的自动化方法，能够识别和分类社区对话中的需求与资产。
- 实验结果显示，所提模型在F1分数上达到94%，显著优于情感分类和大语言模型的基线表现。
📝 摘要（中文）
社区需求评估是非营利组织和政府机构用于量化社区优势和问题的工具，帮助更好地分配资源。随着社交媒体对社区需求分析的应用增加，手动分析社交媒体对话的挑战也随之加大。本文填补了文献中关于如何计算分析社区成员讨论社区需求和优势的空白，提出了一种通过自然语言处理方法识别、提取和分类社区需求与资产的任务。为此，我们引入了第一个包含3511条Reddit对话的数据集，并通过实验验证了我们的分类模型在F1分数上优于情感分类和流行的大语言模型，分别为94%、49%和61%。
🔬 方法详解
问题定义：本文旨在解决如何从社交媒体对话中自动识别和分类社区需求与资产的问题。现有方法主要依赖人工分析，无法应对社交媒体对话数量的快速增长。
核心思路：我们提出了一种基于自然语言处理的自动化分析框架，通过对社区对话进行分类，识别出其中的需求和资产。这种设计旨在提高分析效率和准确性。
技术框架：整体架构包括数据收集、数据标注、模型训练和评估四个主要阶段。首先，从Reddit收集对话数据，然后通过众包方式进行标注，接着训练分类模型，最后进行性能评估。
关键创新：本研究的关键创新在于引入了一个专门针对社区需求与资产的对话数据集，并开发了一个高效的分类模型，显著提高了分析的准确性和效率。
关键设计：在模型设计中，我们采用了特定的损失函数和网络结构，以优化分类效果。模型在训练过程中使用了大量标注数据，确保了其泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提模型在F1分数上达到了94%，显著优于情感分类模型的49%和流行大语言模型的61%。这一结果表明，本文提出的方法在识别社区需求与资产方面具有显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括社区服务、政策制定和社会工作等。通过自动化分析社交媒体对话，相关机构可以更有效地识别社区需求，从而优化资源分配，提升服务质量。未来，该方法也可扩展至其他社交平台，进一步增强其应用价值。
📄 摘要（原文）
A community needs assessment is a tool used by non-profits and government agencies to quantify the strengths and issues of a community, allowing them to allocate their resources better. Such approaches are transitioning towards leveraging social media conversations to analyze the needs of communities and the assets already present within them. However, manual analysis of exponentially increasing social media conversations is challenging. There is a gap in the present literature in computationally analyzing how community members discuss the strengths and needs of the community. To address this gap, we introduce the task of identifying, extracting, and categorizing community needs and assets from conversational data using sophisticated natural language processing methods. To facilitate this task, we introduce the first dataset about community needs and assets consisting of 3,511 conversations from Reddit, annotated using crowdsourced workers. Using this dataset, we evaluate an utterance-level classification model compared to sentiment classification and a popular large language model (in a zero-shot setting), where we find that our model outperforms both baselines at an F1 score of 94% compared to 49% and 61% respectively. Furthermore, we observe through our study that conversations about needs have negative sentiments and emotions, while conversations about assets focus on location and entities. The dataset is available at https://github.com/towhidabsar/CommunityNeeds.