Automatic detection of problem-gambling signs from online texts using large language models
作者: Elke Smith, Nils Reiter, Jan Peters
分类: cs.CL, cs.LG
发布日期: 2023-11-24
💡 一句话要点
基于大语言模型自动检测在线文本中的赌博问题迹象
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 问题赌博 大语言模型 BERT 自动检测 在线社区 心理健康 数据挖掘
📋 核心要点
- 核心问题：现有方法在识别在线文本中的问题赌博迹象时，缺乏高效的自动化工具，依赖人工标注的成本高且效率低。
- 方法要点：本研究通过微调BERT模型，利用手动标注生成的高质量训练数据，自动识别在线赌博社区中的问题赌博迹象。
- 实验或效果：模型在k折交叉验证中取得了0.95的精确度和0.71的F1分数，表明其在小数据集上的有效性和可靠性。
📝 摘要（中文）
问题赌博是一个重大的公共健康问题，伴随严重的心理压力和经济困扰。许多在线赌博社区中，用户交流游戏信息、赌博策略及相关问题。表现出较高问题赌博水平的个体更频繁参与这些社区。本文利用从德国主要赌博讨论板抓取的数据，微调了一个双向编码器表示的变换器（BERT）模型，以预测论坛帖子中的问题赌博迹象。训练数据通过手动标注生成，并考虑了诊断标准和赌博相关的认知扭曲。通过k折交叉验证，模型达到了0.95的精确度和0.71的F1分数，表明通过基于诊断标准的手动标注生成高质量训练材料可以实现令人满意的分类性能。本研究确认了基于BERT的模型在小数据集上可靠地检测在线交流数据中的问题赌博特征的能力。
🔬 方法详解
问题定义：本文旨在解决在线文本中问题赌博迹象的自动检测问题。现有方法依赖人工标注，效率低且成本高，难以满足实际需求。
核心思路：论文提出通过微调BERT模型，利用从在线赌博社区抓取的数据进行训练，以实现对问题赌博迹象的自动识别。这种设计利用了BERT在自然语言处理中的强大能力，能够捕捉文本中的复杂模式。
技术框架：整体架构包括数据抓取、数据预处理、模型微调和评估四个主要模块。首先，从德国赌博讨论板抓取数据，然后进行手动标注和预处理，接着微调BERT模型，最后通过k折交叉验证评估模型性能。
关键创新：本研究的关键创新在于结合了高质量的手动标注数据与BERT模型，显著提升了问题赌博迹象的检测精度。这与传统依赖规则或简单机器学习模型的方法有本质区别。
关键设计：在模型训练中，使用了特定的损失函数以优化分类性能，并通过k折交叉验证确保模型的泛化能力。模型的超参数如学习率和批量大小经过精心调整，以实现最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，微调后的BERT模型在k折交叉验证中达到了0.95的精确度和0.71的F1分数，表明其在小数据集上具有良好的分类性能。这一结果显著优于传统方法，展示了基于深度学习的自动化检测的潜力。
🎯 应用场景
该研究的潜在应用领域包括在线赌博监测、心理健康评估和公共卫生干预。通过自动检测问题赌博迹象，可以帮助相关机构及时识别和干预高风险个体，从而降低社会成本和改善公共健康状况。未来，该方法还可扩展至其他类型的在线社区，以识别不同的心理健康问题。
📄 摘要（原文）
Problem gambling is a major public health concern and is associated with profound psychological distress and economic problems. There are numerous gambling communities on the internet where users exchange information about games, gambling tactics, as well as gambling-related problems. Individuals exhibiting higher levels of problem gambling engage more in such communities. Online gambling communities may provide insights into problem-gambling behaviour. Using data scraped from a major German gambling discussion board, we fine-tuned a large language model, specifically a Bidirectional Encoder Representations from Transformers (BERT) model, to predict signs of problem-gambling from forum posts. Training data were generated by manual annotation and by taking into account diagnostic criteria and gambling-related cognitive distortions. Using k-fold cross-validation, our models achieved a precision of 0.95 and F1 score of 0.71, demonstrating that satisfactory classification performance can be achieved by generating high-quality training material through manual annotation based on diagnostic criteria. The current study confirms that a BERT-based model can be reliably used on small data sets and to detect signatures of problem gambling in online communication data. Such computational approaches may have potential for the detection of changes in problem-gambling prevalence among online users.