CoUDA: Coherence Evaluation via Unified Data Augmentation

📄 arXiv: 2404.00681v1 📥 PDF

作者: Dawei Zhu, Wenhao Wu, Yifan Song, Fangwei Zhu, Ziqiang Cao, Sujian Li

分类: cs.CL

发布日期: 2024-03-31

备注: NAACL 2024

💡 一句话要点

提出CoUDA框架以提升话语连贯性评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 话语连贯性 数据增强 生成模型 自然语言处理 机器学习

📋 核心要点

  1. 现有的连贯性评估模型由于缺乏足够的标注数据，往往依赖启发式规则进行数据增强，导致效果有限。
  2. 本文提出的CoUDA框架通过将连贯性分为全局和局部两个方面，分别设计增强策略，尤其在局部连贯性上引入了生成策略。
  3. CoUDA在仅233M参数的情况下，在连贯性评估的点对评分和成对排名任务中表现出色，超越了GPT-3.5和GPT-4的评估指标。

📝 摘要（中文）

话语连贯性评估旨在评估话语的组织和结构，但在大语言模型时代仍然面临挑战。由于标注数据稀缺，数据增强常用于训练连贯性评估模型。然而，现有增强方法主要依赖启发式规则，缺乏设计标准作为指导。本文提出了一种名为CoUDA的数据增强框架，灵感来源于话语结构的语言学理论。CoUDA将话语连贯性分为全局和局部两个方面，并为这两个方面分别设计增强策略。特别是在局部连贯性方面，提出了一种新颖的生成策略，通过后训练生成模型并应用两个控制机制来控制生成样本的难度。实验表明，CoUDA在点对评分和成对排名任务中，以仅233M参数实现了最先进的性能，超越了最近的GPT-3.5和GPT-4基准。

🔬 方法详解

问题定义：本论文旨在解决话语连贯性评估中的数据稀缺问题，现有方法多依赖启发式规则，缺乏系统性设计，导致评估效果不佳。

核心思路：提出CoUDA框架，通过将连贯性分为全局和局部两个方面，分别设计数据增强策略，尤其在局部连贯性方面采用生成模型，提升样本的多样性和质量。

技术框架：CoUDA的整体架构包括数据增强模块和评估模块。数据增强模块负责生成训练样本，评估模块则在推理阶段联合评估全局和局部连贯性，确保评估的全面性。

关键创新：最重要的创新在于提出了针对局部连贯性的生成策略，通过后训练生成模型并引入控制机制，能够有效调节生成样本的难度，提升模型的学习效果。

关键设计：在参数设置上，CoUDA使用233M参数，损失函数设计上考虑了全局与局部连贯性的平衡，网络结构则结合了生成模型和评估模型的优势，确保了高效的训练和推理。

📊 实验亮点

在连贯性评估的实验中，CoUDA以仅233M参数实现了最先进的性能，尤其在点对评分和成对排名任务中超越了GPT-3.5和GPT-4的评估指标，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统和自动摘要等。通过提升话语连贯性评估的准确性，CoUDA能够为多种语言任务提供更为可靠的支持，未来可能在教育、内容创作等领域产生深远影响。

📄 摘要（原文）

Coherence evaluation aims to assess the organization and structure of a discourse, which remains challenging even in the era of large language models. Due to the scarcity of annotated data, data augmentation is commonly used for training coherence evaluation models. However, previous augmentations for this task primarily rely on heuristic rules, lacking designing criteria as guidance. In this paper, we take inspiration from linguistic theory of discourse structure, and propose a data augmentation framework named CoUDA. CoUDA breaks down discourse coherence into global and local aspects, and designs augmentation strategies for both aspects, respectively. Especially for local coherence, we propose a novel generative strategy for constructing augmentation samples, which involves post-pretraining a generative model and applying two controlling mechanisms to control the difficulty of generated samples. During inference, CoUDA also jointly evaluates both global and local aspects to comprehensively assess the overall coherence of a discourse. Extensive experiments in coherence evaluation show that, with only 233M parameters, CoUDA achieves state-of-the-art performance in both pointwise scoring and pairwise ranking tasks, even surpassing recent GPT-3.5 and GPT-4 based metrics.