DiarizationLM: Speaker Diarization Post-Processing with Large Language Models

📄 arXiv: 2401.03506v11 📥 PDF

作者: Quan Wang, Yiling Huang, Guanlong Zhao, Evan Clark, Wei Xia, Hank Liao

分类: eess.AS, cs.LG, cs.SD

发布日期: 2024-01-07 (更新: 2025-01-08)

期刊: Proc. Interspeech 2024, 3754-3758 (2024)

DOI: 10.21437/Interspeech.2024-209

💡 一句话要点

提出DiarizationLM以优化说话人分离后处理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 说话人分离 后处理 大型语言模型 自动语音识别 转录优化 自然语言处理 机器学习

📋 核心要点

  1. 现有的说话人分离系统在输出的可读性和准确性方面存在不足，尤其是在复杂对话场景中。
  2. DiarizationLM框架通过将ASR和说话人分离系统的输出整合到大型语言模型中，进行有效的后处理。
  3. 实验结果显示，使用微调的PaLM 2-S模型显著降低了WDER，证明了该方法的有效性。

📝 摘要（中文）

本文介绍了DiarizationLM框架，旨在利用大型语言模型（LLM）对说话人分离系统的输出进行后处理。该框架可以实现多种目标，例如提高分离转录的可读性或降低词语分离错误率（WDER）。在该框架中，自动语音识别（ASR）和说话人分离系统的输出以紧凑的文本格式表示，并作为提示输入到可选微调的LLM中。LLM的输出可作为经过改进的分离结果。作为后处理步骤，该框架可轻松应用于任何现成的ASR和说话人分离系统，而无需重新训练现有组件。实验表明，微调后的PaLM 2-S模型在Fisher电话对话数据集上将WDER降低了55.5%，在Callhome英语数据集上降低了44.9%。

🔬 方法详解

问题定义：本文旨在解决现有说话人分离系统在输出可读性和准确性方面的不足，尤其是在复杂对话场景中，传统方法往往无法有效处理多说话人情况，导致转录结果不够清晰。

核心思路：DiarizationLM框架的核心思路是利用大型语言模型（LLM）对说话人分离和自动语音识别（ASR）系统的输出进行后处理，通过将输出转换为紧凑的文本格式，提升转录的可读性和准确性。

技术框架：该框架包括几个主要模块：首先，ASR和说话人分离系统生成初步输出；其次，将这些输出格式化为适合LLM处理的文本；最后，使用微调的LLM对文本进行处理，生成改进的分离结果。

关键创新：DiarizationLM的创新之处在于其将大型语言模型应用于说话人分离的后处理，突破了传统方法的局限，能够在不重新训练现有组件的情况下，显著提升输出质量。

关键设计：在设计上，框架允许对LLM进行微调，以适应特定的对话场景，且在参数设置上，优化了输入格式和提示设计，以最大化模型的性能。具体的损失函数和网络结构细节尚未公开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的PaLM 2-S模型在Fisher电话对话数据集上将WDER降低了55.5%，在Callhome英语数据集上降低了44.9%。这些结果表明，DiarizationLM框架在提升说话人分离系统输出质量方面具有显著效果，优于传统方法。

🎯 应用场景

DiarizationLM框架具有广泛的应用潜力，特别是在电话会议记录、访谈转录和多方对话分析等场景中。通过提高转录的可读性和准确性，该技术可以帮助用户更好地理解和分析对话内容，提升信息获取的效率。未来，该框架还可能扩展到其他语言处理任务中，进一步推动自然语言处理领域的发展。

📄 摘要（原文）

In this paper, we introduce DiarizationLM, a framework to leverage large language models (LLM) to post-process the outputs from a speaker diarization system. Various goals can be achieved with the proposed framework, such as improving the readability of the diarized transcript, or reducing the word diarization error rate (WDER). In this framework, the outputs of the automatic speech recognition (ASR) and speaker diarization systems are represented as a compact textual format, which is included in the prompt to an optionally finetuned LLM. The outputs of the LLM can be used as the refined diarization results with the desired enhancement. As a post-processing step, this framework can be easily applied to any off-the-shelf ASR and speaker diarization systems without retraining existing components. Our experiments show that a finetuned PaLM 2-S model can reduce the WDER by rel. 55.5% on the Fisher telephone conversation dataset, and rel. 44.9% on the Callhome English dataset.