Boosting Disfluency Detection with Large Language Model as Disfluency Generator

📄 arXiv: 2403.08229v2 📥 PDF

作者: Zhenrong Cheng, Jiayan Guo, Hao Sun, Yan Zhang

分类: cs.CL

发布日期: 2024-03-13 (更新: 2024-08-06)

💡 一句话要点

利用大型语言模型生成不流畅句子以提升不流畅检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不流畅检测 数据增强 大型语言模型 自然语言处理 生成模型

📋 核心要点

  1. 现有的不流畅检测方法依赖于昂贵的人类标注数据，且生成的句子往往不符合真实场景，限制了模型性能。
  2. 本研究提出利用大型语言模型生成多样化的真实不流畅句子，作为数据增强手段，提升检测效果。
  3. 实验结果表明，使用少量LLM生成的增强数据可以显著提高检测性能，达到最新的研究水平。

📝 摘要（中文）

当前的不流畅检测方法严重依赖于昂贵且稀缺的人类标注数据。为了解决这一问题，部分方法采用启发式或统计特征生成不流畅句子，部分提升了检测性能。然而，这些句子往往偏离真实场景，限制了模型的整体提升。本研究提出了一种轻量级的数据增强方法，利用大型语言模型（LLM）的生成和语义理解能力生成不流畅句子作为增强数据。我们通过特定提示引导LLM生成多样且更真实的句子，无需对LLM进行微调。随后，我们应用不确定性感知的数据过滤方法提高生成句子的质量，进而训练小型检测模型以提升性能。实验结果显示，使用少量LLM生成的增强数据显著提升了性能，从而进一步提高了成本效益。

🔬 方法详解

问题定义：本论文旨在解决不流畅检测中对人类标注数据的依赖，现有方法生成的句子往往不符合真实场景，限制了模型的性能提升。

核心思路：论文提出利用大型语言模型（LLM）生成不流畅句子，作为数据增强的手段。通过特定提示引导LLM生成多样且真实的句子，避免了对LLM的微调，从而降低了成本和复杂性。

技术框架：整体流程包括使用LLM生成不流畅句子、应用不确定性感知的数据过滤方法以提高生成句子的质量，最后利用这些高质量数据训练小型检测模型。

关键创新：本研究的创新点在于利用LLM生成真实的增强数据，而不是依赖传统的启发式或统计方法，这种方法显著提升了生成句子的质量和多样性。

关键设计：在数据生成过程中，设计了特定的提示以引导LLM生成不流畅句子，并采用不确定性感知的过滤机制来筛选高质量的生成句子，确保训练数据的有效性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，使用少量LLM生成的增强数据，检测模型的性能显著提升，达到了最新的研究水平，具体性能数据未提供，提升幅度明显，表明该方法在成本效益上具有优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、语音识别和人机交互等场景。通过提升不流畅检测的性能，可以改善用户体验，降低对人工标注的依赖，具有重要的实际价值和未来影响。

📄 摘要（原文）

Current disfluency detection methods heavily rely on costly and scarce human-annotated data. To tackle this issue, some approaches employ heuristic or statistical features to generate disfluent sentences, partially improving detection performance. However, these sentences often deviate from real-life scenarios, constraining overall model enhancement. In this study, we propose a lightweight data augmentation approach for disfluency detection, utilizing the superior generative and semantic understanding capabilities of large language model (LLM) to generate disfluent sentences as augmentation data. We leverage LLM to generate diverse and more realistic sentences guided by specific prompts, without the need for fine-tuning the LLM. Subsequently, we apply an uncertainty-aware data filtering approach to improve the quality of the generated sentences, utilized in training a small detection model for improved performance. Experiments using enhanced data yielded state-of-the-art results. The results showed that using a small amount of LLM-generated enhanced data can significantly improve performance, thereby further enhancing cost-effectiveness. Our code is available here.