AugSumm: towards generalizable speech summarization using synthetic labels from large language model

📄 arXiv: 2401.06806v1 📥 PDF

作者: Jee-weon Jung, Roshan Sharma, William Chen, Bhiksha Raj, Shinji Watanabe

分类: cs.CL, cs.AI

发布日期: 2024-01-10

备注: This work has been submitted to the IEEE ICASSP for possible publication. 5 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出AugSumm以解决语音摘要生成中的标注不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音摘要 合成摘要 大型语言模型 训练优化 ROUGE-L指标 多样性生成 自动化标注

📋 核心要点

  1. 现有的语音摘要生成方法主要依赖单一的人工标注摘要，导致无法充分捕捉摘要的多样性。
  2. 论文提出AugSumm方法，通过大型语言模型生成合成摘要，作为训练和评估的补充，解决标注不足的问题。
  3. 实验结果显示，在How2数据集上，使用合成摘要进行预训练后，ROUGE-L指标在GT和AugSumm测试集上均提高了1点。

📝 摘要（中文）

抽象语音摘要（SSUM）旨在从语音中生成类似人类的摘要。由于信息捕获和措辞的变化，录音可以以多种方式进行摘要。因此，考虑所有潜在摘要的概率分布比单一摘要更为合理。然而，传统的SSUM模型大多依赖于单一的人工标注摘要进行训练和评估。生成多个人工参考摘要理想但不切实际，因为标注成本高。为此，本文提出AugSumm方法，利用大型语言模型（LLMs）作为人类标注者的代理，生成增强摘要用于训练和评估。我们探索了从ChatGPT生成合成摘要的提示策略，并通过多种指标验证了合成摘要的质量，发现使用AugSumm生成的摘要被认为更有效。实验表明，在How2数据集上，使用合成摘要进行预训练并在GT摘要上进行微调，ROUGE-L指标提高了1点。

🔬 方法详解

问题定义：本文旨在解决传统语音摘要生成中仅依赖单一人工标注摘要的问题，导致摘要多样性不足，无法全面反映信息的多样性和复杂性。

核心思路：通过利用大型语言模型（如ChatGPT）生成合成摘要，AugSumm方法能够在训练和评估中引入多样化的摘要，从而更好地模拟人类标注者的行为，提升模型的泛化能力。

技术框架：AugSumm的整体框架包括两个主要阶段：首先，使用提示策略从ChatGPT生成合成摘要；其次，将这些合成摘要用于模型的预训练和微调。

关键创新：AugSumm的核心创新在于将大型语言模型作为合成摘要的生成器，这一方法与传统依赖人工标注的方式本质上不同，显著降低了标注成本并提高了摘要的多样性。

关键设计：在合成摘要生成过程中，采用了多种提示策略以优化生成质量，并在训练中结合了合成摘要和真实摘要，使用ROUGE-L作为主要评估指标。

📊 实验亮点

实验结果表明，使用合成摘要进行预训练并在真实摘要上微调后，ROUGE-L指标在GT和AugSumm测试集上均提高了1点，显示出AugSumm方法在语音摘要生成中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括新闻摘要、会议记录、教育内容总结等，能够显著提高语音摘要生成的效率和质量。通过引入合成摘要，AugSumm不仅降低了人工标注的成本，还为多样化摘要生成提供了新的思路，未来可能推动更多领域的自动化文本处理技术的发展。

📄 摘要（原文）

Abstractive speech summarization (SSUM) aims to generate human-like summaries from speech. Given variations in information captured and phrasing, recordings can be summarized in multiple ways. Therefore, it is more reasonable to consider a probabilistic distribution of all potential summaries rather than a single summary. However, conventional SSUM models are mostly trained and evaluated with a single ground-truth (GT) human-annotated deterministic summary for every recording. Generating multiple human references would be ideal to better represent the distribution statistically, but is impractical because annotation is expensive. We tackle this challenge by proposing AugSumm, a method to leverage large language models (LLMs) as a proxy for human annotators to generate augmented summaries for training and evaluation. First, we explore prompting strategies to generate synthetic summaries from ChatGPT. We validate the quality of synthetic summaries using multiple metrics including human evaluation, where we find that summaries generated using AugSumm are perceived as more valid to humans. Second, we develop methods to utilize synthetic summaries in training and evaluation. Experiments on How2 demonstrate that pre-training on synthetic summaries and fine-tuning on GT summaries improves ROUGE-L by 1 point on both GT and AugSumm-based test sets. AugSumm summaries are available at https://github.com/Jungjee/AugSumm.