Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models
作者: Zachary Horvitz, Jingru Chen, Rahul Aditya, Harshvardhan Srivastava, Robert West, Zhou Yu, Kathleen McKeown
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-02-23 (更新: 2024-06-21)
💡 一句话要点
利用大型语言模型生成幽默数据集以解决幽默检测问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 幽默检测 大型语言模型 合成数据 自然语言处理 数据生成
📋 核心要点
- 幽默检测面临数据集稀缺的问题，缺乏幽默与非幽默文本的配对数据，导致现有方法效果不佳。
- 本文提出利用大型语言模型生成合成幽默数据，通过编辑文本来创建幽默与非幽默的对比样本。
- 实验结果显示，当前LLMs在去幽默化方面表现优异，且生成的合成数据在双语环境中也得到了良好的评价。
📝 摘要（中文）
幽默是人类认知和互动的重要方面。然而，尽管自然语言处理领域取得了进展，幽默检测仍然是一项具有挑战性的任务，主要由于缺乏将幽默文本与相似非幽默文本配对的数据集。本文研究了大型语言模型（LLMs）是否能够通过编辑文本生成合成数据以用于幽默检测。我们在现有的人类数据集上对LLMs进行了基准测试，结果表明当前的LLMs在“去幽默化”笑话方面表现出色，且在幽默检测的下游任务中也取得了良好效果。此外，我们将方法扩展到英语-印地语混合的幽默数据集，发现GPT-4生成的合成数据在双语注释者中获得了高度评价，并为幽默分类器提供了具有挑战性的对抗样本。
🔬 方法详解
问题定义：本文旨在解决幽默检测中缺乏合适数据集的问题，现有方法在幽默与非幽默文本的配对上存在明显不足，影响了检测效果。
核心思路：通过利用大型语言模型生成合成幽默数据，研究者希望能够创建出幽默与非幽默文本的有效对比样本，从而提升幽默检测的准确性。
技术框架：整体方法包括数据生成和评估两个主要模块。首先，使用LLMs对现有幽默文本进行编辑，生成相应的非幽默版本；其次，通过人类评估和下游任务测试对生成数据的有效性进行验证。
关键创新：本文的主要创新在于利用LLMs的强大生成能力，成功实现了幽默文本的去幽默化，形成了一种新的数据生成方式，与传统的手工标注方法形成鲜明对比。
关键设计：在模型选择上，采用了GPT-4进行文本生成，设置了特定的编辑策略以确保生成文本的质量，同时通过双语注释者的反馈来优化生成效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的LLMs在幽默去幽默化任务中表现出色，生成的合成数据在双语注释者中获得了高评分，且为幽默分类器提供了具有挑战性的对抗样本，显著提升了幽默检测的准确性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容审核、幽默生成系统以及人机交互中的情感理解。通过提供高质量的幽默数据集，能够显著提升幽默检测算法的性能，进而推动相关应用的发展和普及。
📄 摘要（原文）
Humor is a fundamental facet of human cognition and interaction. Yet, despite recent advances in natural language processing, humor detection remains a challenging task that is complicated by the scarcity of datasets that pair humorous texts with similar non-humorous counterparts. In our work, we investigate whether large language models (LLMs), can generate synthetic data for humor detection via editing texts. We benchmark LLMs on an existing human dataset and show that current LLMs display an impressive ability to 'unfun' jokes, as judged by humans and as measured on the downstream task of humor detection. We extend our approach to a code-mixed English-Hindi humor dataset, where we find that GPT-4's synthetic data is highly rated by bilingual annotators and provides challenging adversarial examples for humor classifiers.