Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation

📄 arXiv: 2402.05706v3 📥 PDF

作者: Heeseung Kim, Soonshin Seo, Kyeongseok Jeong, Ohsung Kwon, Soyoon Kim, Jungwhan Kim, Jaehong Lee, Eunwoo Song, Myungwoo Oh, Jung-Woo Ha, Sungroh Yoon, Kang Min Yoo

分类: cs.CL, cs.SD, eess.AS

发布日期: 2024-02-08 (更新: 2024-11-28)

备注: NeurIPS 2024, Project Page: https://unifiedsdm.github.io/

🔗 代码/项目: GITHUB

💡 一句话要点

提出统一口语对话模型以解决大语言模型对话生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 口语对话生成 韵律特征 跨模态学习 大型语言模型 自然语言处理

📋 核心要点

  1. 现有方法在建模口语对话时缺乏有效性，无法充分利用韵律特征。
  2. 提出统一口语对话模型（USDM），通过韵律注入的语音-文本模型生成自然口语响应。
  3. 在DailyTalk数据集上进行评估，结果显示生成的口语响应自然流畅，超越了之前的基线。

📝 摘要（中文）

近期的研究表明，扩展大型语言模型（LLM）直接理解和合成语音的能力取得了良好效果。然而，基于LLM的口语对话建模策略仍然不明确，亟需进一步研究。本文提出了一种广泛的语音-文本LLM框架——统一口语对话模型（USDM），旨在生成连贯的口语响应，并自然地融入与输入语音相关的韵律特征，而无需依赖显式的自动语音识别（ASR）或文本到语音（TTS）系统。我们验证了韵律在主要包含语义信息的语音标记中的重要性，并以此为基础构建了韵律注入的语音-文本模型。此外，我们提出了一种通用的语音-文本预训练方案，以增强跨模态语义的捕捉能力。通过在口语对话数据上微调我们的语音-文本模型，利用多步骤的口语对话模板，激发了底层LLM表现出的推理能力。对DailyTalk数据集的自动和人工评估表明，我们的方法有效生成自然的口语响应，超越了之前的基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在口语对话生成中的不足，尤其是如何有效利用韵律特征而不依赖传统的ASR和TTS系统。现有方法往往忽视了韵律信息，导致生成的对话缺乏自然性和连贯性。

核心思路：论文的核心思路是构建统一口语对话模型（USDM），通过将韵律特征融入语音标记，增强模型对语音输入的理解和响应能力。该设计旨在利用韵律信息提升生成的口语响应的自然性。

技术框架：USDM的整体架构包括语音-文本模型的构建、韵律特征的提取与注入，以及基于多步骤口语对话模板的微调过程。模型通过预训练和微调两个阶段，逐步提升对话生成的质量。

关键创新：最重要的技术创新在于韵律信息的有效整合，使得模型能够在不依赖ASR和TTS的情况下，直接生成自然的口语响应。这一方法与传统的对话生成方法本质上不同，后者通常依赖于显式的语音识别和合成步骤。

关键设计：在模型设计中，采用了特定的损失函数来优化韵律特征的捕捉，同时在网络结构中引入了多模态融合机制，以增强语音和文本之间的语义关联。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，USDM在DailyTalk数据集上的表现优于之前的基线，生成的口语响应更具自然性和连贯性。具体而言，模型在自动评估中获得了更高的流畅度和语义一致性分数，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、客服机器人和语音交互系统等，能够提升人机对话的自然性和流畅性。随着技术的进步，未来可能在教育、娱乐等多个领域发挥重要作用，改善用户体验。

📄 摘要（原文）

Recent work shows promising results in expanding the capabilities of large language models (LLM) to directly understand and synthesize speech. However, an LLM-based strategy for modeling spoken dialogs remains elusive, calling for further investigation. This paper introduces an extensive speech-text LLM framework, the Unified Spoken Dialog Model (USDM), designed to generate coherent spoken responses with naturally occurring prosodic features relevant to the given input speech without relying on explicit automatic speech recognition (ASR) or text-to-speech (TTS) systems. We have verified the inclusion of prosody in speech tokens that predominantly contain semantic information and have used this foundation to construct a prosody-infused speech-text model. Additionally, we propose a generalized speech-text pretraining scheme that enhances the capture of cross-modal semantics. To construct USDM, we fine-tune our speech-text model on spoken dialog data using a multi-step spoken dialog template that stimulates the chain-of-reasoning capabilities exhibited by the underlying LLM. Automatic and human evaluations on the DailyTalk dataset demonstrate that our approach effectively generates natural-sounding spoken responses, surpassing previous and cascaded baselines. Our code and checkpoints are available at https://github.com/naver-ai/usdm.