KoCoSa: Korean Context-aware Sarcasm Detection Dataset

📄 arXiv: 2402.14428v2 📥 PDF

作者: Yumin Kim, Heejae Suh, Mingi Kim, Dongyeon Won, Hwanhee Lee

分类: cs.CL, cs.AI

发布日期: 2024-02-22 (更新: 2024-03-22)

🔗 代码/项目: GITHUB

💡 一句话要点

提出KoCoSa数据集以解决韩语对话中的讽刺检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 讽刺检测 韩语对话 上下文感知 数据集构建 自然语言处理 深度学习

📋 核心要点

  1. 现有方法在对话中检测讽刺时，往往忽视了上下文信息，导致准确率低。
  2. 论文提出了KoCoSa数据集，并设计了一种高效的数据生成和标注流程，以增强讽刺检测的上下文感知能力。
  3. 实验表明，基于KoCoSa数据集的基线模型在讽刺检测任务中表现优异，超越了多个强基线模型。

📝 摘要（中文）

讽刺是一种言语讽刺的方式，通常表达与实际意图相反的意思，常用于嘲讽他人、情境或观点。在对话中检测讽刺往往具有挑战性，因为需要考虑上下文（即对话历史）。本文介绍了一个新的韩语对话讽刺检测数据集KoCoSa，包含12.8K条日常韩语对话及其最后回复的标签。为构建该数据集，提出了一种高效的讽刺检测数据集生成流程，包括使用大型语言模型生成新的讽刺对话、对异常和有毒对话进行自动和人工过滤，以及进行人工标注。实验结果表明，基于该数据集训练的基线系统在韩语讽刺检测任务中超越了如GPT-3.5等强基线。我们展示了讽刺检测任务深度依赖于上下文的存在。

🔬 方法详解

问题定义：本论文旨在解决韩语对话中的讽刺检测问题。现有方法往往无法充分利用对话上下文，导致讽刺识别的准确性不足。

核心思路：提出KoCoSa数据集，通过生成新的讽刺对话并进行有效的过滤与标注，增强模型对上下文的理解能力，从而提高讽刺检测的准确性。

技术框架：整体流程包括三个主要阶段：1) 利用大型语言模型生成新的讽刺对话；2) 对生成的对话进行自动和人工过滤，去除异常和有毒内容；3) 进行人工标注以确保数据集的质量和准确性。

关键创新：最重要的创新在于提出了一种结合自动生成与人工标注的高效数据集构建流程，显著提升了讽刺检测任务的上下文感知能力，与传统方法相比，能够更好地捕捉对话中的讽刺信息。

关键设计：在数据生成过程中，采用了大型语言模型的生成能力，并通过严格的过滤机制确保数据质量。此外，模型训练时使用了针对讽刺检测优化的损失函数，以提高模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于KoCoSa数据集的基线模型在韩语讽刺检测任务中取得了显著的性能提升，超越了如GPT-3.5等多个强基线，验证了数据集的有效性和模型的优越性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容分析、在线评论监测以及智能客服系统等。通过提高讽刺检测的准确性，可以更好地理解用户意图，提升人机交互的质量，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Sarcasm is a way of verbal irony where someone says the opposite of what they mean, often to ridicule a person, situation, or idea. It is often difficult to detect sarcasm in the dialogue since detecting sarcasm should reflect the context (i.e., dialogue history). In this paper, we introduce a new dataset for the Korean dialogue sarcasm detection task, KoCoSa (Korean Context-aware Sarcasm Detection Dataset), which consists of 12.8K daily Korean dialogues and the labels for this task on the last response. To build the dataset, we propose an efficient sarcasm detection dataset generation pipeline: 1) generating new sarcastic dialogues from source dialogues with large language models, 2) automatic and manual filtering of abnormal and toxic dialogues, and 3) human annotation for the sarcasm detection task. We also provide a simple but effective baseline for the Korean sarcasm detection task trained on our dataset. Experimental results on the dataset show that our baseline system outperforms strong baselines like large language models, such as GPT-3.5, in the Korean sarcasm detection task. We show that the sarcasm detection task relies deeply on the existence of sufficient context. We will release the dataset at https://github.com/Yu-billie/KoCoSa_sarcasm_detection.