External Knowledge Augmented Polyphone Disambiguation Using Large Language Model

📄 arXiv: 2312.11920v1 📥 PDF

作者: Chen Li

分类: cs.CL

发布日期: 2023-12-19

💡 一句话要点

提出一种基于大语言模型和外部知识增强的多音字消歧方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多音字消歧 文本转语音 大语言模型 提示学习 外部知识 生成任务 Transformer

📋 核心要点

  1. 中文TTS系统中，字形到音素转换时多音字消歧是关键问题，现有方法效果有待提升。
  2. 利用大语言模型和提示学习，结合多层次语义词典等外部知识，将消歧转化为生成任务。
  3. 实验表明，该方法在公共数据集上优于现有方法，并分析了不同因素的影响。

📝 摘要（中文）

本文提出了一种新的方法，将多音字消歧问题转化为生成任务，以解决中文文本到语音（TTS）系统中字形到音素（G2P）转换的关键问题。该方法遵循大语言模型（LLM）和提示学习的研究趋势，由三个模块组成：检索模块，它结合了外部知识，即中文多音字的多层次语义词典，将句子格式化为提示；生成模块，采用仅解码器的Transformer架构来生成目标文本；后处理模块，在需要时将生成的文本更正为有效结果。在公共数据集CPP上的实验结果表明，该方法优于现有方法。我们还实证研究了提示的不同模板、不同大小的训练数据以及是否结合外部知识的影响。

🔬 方法详解

问题定义：论文旨在解决中文文本转语音（TTS）系统中，字形到音素（G2P）转换时遇到的多音字消歧问题。现有方法在处理多音字时，往往缺乏足够的上下文语义信息，导致消歧准确率不高，影响TTS系统的自然度和流畅性。

核心思路：论文的核心思路是将多音字消歧问题视为一个生成任务，并利用大语言模型（LLM）强大的文本生成能力来解决。通过构建合适的提示（Prompt），引导LLM根据上下文语境生成正确的读音。同时，引入外部知识（多层次语义词典）来增强LLM对多音字的理解，提高消歧的准确性。

技术框架：该方法主要包含三个模块： 1. 检索模块：利用多层次语义词典等外部知识，对输入句子进行分析，提取与多音字相关的语义信息，并将这些信息整合到提示（Prompt）中。 2. 生成模块：采用仅解码器的Transformer架构，以Prompt作为输入，生成包含正确读音的文本。 3. 后处理模块：对生成模块的输出进行校正，确保结果的有效性，例如，将生成的拼音转换为标准的音标形式。

关键创新：该方法最重要的创新点在于： 1. 将多音字消歧问题转化为生成任务：这使得可以利用大语言模型强大的生成能力来解决该问题。 2. 引入外部知识增强LLM的理解：通过多层次语义词典，为LLM提供更丰富的上下文信息，提高消歧的准确性。 3. Prompt的设计：巧妙地将外部知识融入到Prompt中，引导LLM生成正确的读音。

关键设计： 1. Prompt模板的设计：论文实验了不同的Prompt模板，研究了不同模板对消歧效果的影响。 2. 训练数据规模：论文分析了不同规模的训练数据对模型性能的影响。 3. 外部知识的融合方式：论文研究了如何有效地将外部知识融入到Prompt中，以提高消歧的准确性。

📊 实验亮点

实验结果表明，该方法在公共数据集CPP上优于现有方法。论文还深入分析了不同Prompt模板、训练数据规模以及外部知识融合方式对模型性能的影响，为实际应用提供了有价值的参考。具体性能数据和提升幅度在论文中有详细描述。

🎯 应用场景

该研究成果可广泛应用于中文文本转语音（TTS）系统、语音助手、智能客服等领域。通过提高多音字消歧的准确性，可以显著提升TTS系统的自然度和流畅性，改善用户体验。未来，该方法还可以扩展到其他自然语言处理任务中，例如，词性标注、命名实体识别等。

📄 摘要（原文）

One of the key issues in Mandarin Chinese text-to-speech (TTS) systems is polyphone disambiguation when doing grapheme-to-phoneme (G2P) conversion. In this paper, we introduce a novel method to solve the problem as a generation task. Following the trending research of large language models (LLM) and prompt learning, the proposed method consists of three modules. Retrieval module incorporates external knowledge which is a multi-level semantic dictionary of Chinese polyphonic characters to format the sentence into a prompt. Generation module adopts the decoder-only Transformer architecture to induce the target text. Postprocess module corrects the generated text into a valid result if needed. Experimental results show that our method outperforms the existing methods on a public dataset called CPP. We also empirically study the impacts of different templates of the prompt, different sizes of training data, and whether to incorporate external knowledge.