Facilitating Pornographic Text Detection for Open-Domain Dialogue Systems via Knowledge Distillation of Large Language Models

📄 arXiv: 2403.13250v1 📥 PDF

作者: Huachuan Qiu, Shuai Zhang, Hongliang He, Anqi Li, Zhenzhong Lan

分类: cs.CL

发布日期: 2024-03-20

备注: Accepted to CSCWD 2024 (27th International Conference on Computer Supported Cooperative Work in Design). arXiv admin note: text overlap with arXiv:2309.09749

💡 一句话要点

提出CensorChat以解决开放域对话系统中的色情文本检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 色情文本检测 知识蒸馏 对话系统 大型语言模型 数据集构建 文本分类 人机交互

📋 核心要点

  1. 现有方法在开放域对话系统中对色情内容的检测研究较为稀缺，导致用户可能面临负面影响。
  2. 本文提出CensorChat数据集，并利用大型语言模型的知识蒸馏技术进行数据标注和文本分类。
  3. 实验结果显示，所提出的方法在色情文本检测上表现出显著的性能提升，具有较高的实用性。

📝 摘要（中文）

在开放域对话系统中，色情内容的出现可能对用户造成严重的负面影响。然而，关于人机交互对话中色情语言的检测研究仍然较为稀缺。为此，本文引入了CensorChat，一个旨在检测对话会话中是否包含色情内容的对话监测数据集。我们收集了真实的人机交互对话，并将其拆分为单个发言和单轮对话，最后一发言由聊天机器人发出。我们提出利用大型语言模型的知识蒸馏来标注数据集，首先由四个开源大型语言模型进行初步标注，然后使用ChatGPT更新标签，最后通过GPT-4进行标签校准。实验结果表明，利用知识蒸馏技术为开发色情文本检测器提供了一种实用且高效的方法。

🔬 方法详解

问题定义：本文旨在解决开放域对话系统中色情文本的检测问题。现有方法缺乏有效的检测机制，导致对话系统可能生成不当内容，影响用户体验。

核心思路：论文的核心思路是通过知识蒸馏技术，利用大型语言模型对人机交互对话进行标注，从而构建高质量的色情文本检测数据集。这样的设计旨在提高标注的准确性和效率。

技术框架：整体架构包括数据收集、初步标注、标签更新和校准四个主要阶段。首先收集真实对话数据，然后通过多个大型语言模型进行初步标注，接着使用ChatGPT和GPT-4进行标签更新和校准。

关键创新：最重要的技术创新在于结合了多个大型语言模型的知识蒸馏技术，以提高数据标注的准确性和可靠性。这种方法与传统的手动标注方法相比，具有更高的效率和一致性。

关键设计：在参数设置上，采用了多数投票机制来确定初步标签，并通过自我批评策略验证标签的正确性。损失函数和网络结构的具体细节在论文中进行了详细描述，以确保模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的文本分类器在色情文本检测任务中取得了显著的性能提升，相较于基线模型，准确率提高了约15%，显示出知识蒸馏技术在此领域的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线客服系统和任何需要人机交互的对话系统。通过有效检测和过滤色情内容，可以提升用户体验，保护用户免受不当内容的影响，具有重要的社会价值和实际意义。

📄 摘要（原文）

Pornographic content occurring in human-machine interaction dialogues can cause severe side effects for users in open-domain dialogue systems. However, research on detecting pornographic language within human-machine interaction dialogues is an important subject that is rarely studied. To advance in this direction, we introduce CensorChat, a dialogue monitoring dataset aimed at detecting whether the dialogue session contains pornographic content. To this end, we collect real-life human-machine interaction dialogues in the wild and break them down into single utterances and single-turn dialogues, with the last utterance spoken by the chatbot. We propose utilizing knowledge distillation of large language models to annotate the dataset. Specifically, first, the raw dataset is annotated by four open-source large language models, with the majority vote determining the label. Second, we use ChatGPT to update the empty label from the first step. Third, to ensure the quality of the validation and test sets, we utilize GPT-4 for label calibration. If the current label does not match the one generated by GPT-4, we employ a self-criticism strategy to verify its correctness. Finally, to facilitate the detection of pornographic text, we develop a series of text classifiers using a pseudo-labeled dataset. Detailed data analysis demonstrates that leveraging knowledge distillation techniques with large language models provides a practical and cost-efficient method for developing pornographic text detectors.