When the Persona Contradicts the Line: Diagnosing Plan-to-Synthesis Failures in Chain-of-Thought TTS

📄 arXiv: 2610.35008v1 📥 PDF

作者: Joonyong Park, Jerry Li

分类: cs.CL, cs.SD, eess.AS

发布日期: 2026-10-26

备注: Submitted to ICASSP 2027

💡 一句话要点

提出双语基准以诊断链式思维TTS中的计划与合成失败

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维TTS 情感传递 双语基准 计划与合成 语音合成

📋 核心要点

  1. 现有链式思维TTS系统在情感表达与词汇情感冲突时，难以准确传达用户意图，导致合成失败。
  2. 本文提出了一种新的双语基准，通过角色与台词的冲突分析，探讨情感传递中的问题，并提出相应的解决方案。
  3. 实验结果显示，经过监督的QwenEmotion和学习的文本到潜在接口显著提高了情感传递的准确性，尤其在英语和日语中表现突出。

📝 摘要（中文）

链式思维文本到语音（TTS）系统依赖语言模型规划器将角色和上下文转化为语音输出，但当请求的情感与词汇情感冲突时，意图的丢失尚不明确。本文引入了一个日英双语的角色-台词冲突基准，其中每个项目将一行台词与一致和冲突的角色配对，并预先声明预期的声学方向。我们探讨了规划器生成的交付短语、规划器编写的情感向量、QwenEmotion生成的向量以及渲染波形中的方向。结果表明，规划器输出通常是方向正确的，而下游一致性可能显著降低。通过绕过QwenEmotion仅能带来适度的提升，而对QwenEmotion进行监督则将方向率提高到日语75%和英语84%。学习的文本到潜在接口在英语中达到了89%的最高率，在日语中达到了88%的最高唤醒率。这些结果表明，学习的计划到合成接口修复可以恢复反文本的交付，尽管其效果在不同语言和声学轴上有所不同。

🔬 方法详解

问题定义：本文旨在解决链式思维TTS系统中，当角色与台词情感不一致时，导致的计划与合成失败问题。现有方法在处理情感表达时，往往无法有效传达用户的意图，造成合成结果不理想。

核心思路：论文提出通过构建一个双语角色-台词冲突基准，分析规划器生成的语音输出与预期声学方向之间的关系，从而识别并修复情感传递中的问题。

技术框架：整体架构包括角色-台词冲突基准的构建、情感向量的生成与分析、以及通过监督学习优化QwenEmotion的过程。主要模块包括规划器、情感向量生成器和学习的文本到潜在接口。

关键创新：最重要的技术创新在于引入了双语基准来系统性地评估和修复计划到合成的接口问题，尤其是通过学习的文本到潜在接口显著提高了情感传递的准确性。

关键设计：在实验中，采用了监督学习的方法来优化QwenEmotion的输出，并通过调整损失函数和网络结构，确保情感向量的准确性与一致性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，经过监督的QwenEmotion在日语和英语中的方向率分别提高到75%和84%。学习的文本到潜在接口在英语中达到了89%的最高准确率，在日语中达到了88%的最高唤醒率，显著优于基线模型。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、虚拟角色配音以及情感化的语音合成系统。通过提高情感传递的准确性，能够增强用户体验，提升人机交互的自然性和亲和力，未来可能在娱乐、教育等多个领域产生深远影响。

📄 摘要（原文）

Chain-of-thought TTS systems rely on language-model planners to translate persona and context into vocal delivery, but it is unclear where this intent is lost when the requested affect conflicts with lexical sentiment. We introduce a bilingual Japanese--English persona--line conflict benchmark in which each item pairs one line with congruent and conflicting personas and pre-declares the expected acoustic direction. We probe this direction in the planner-generated delivery phrase, the planner-written emotion vector, the QwenEmotion-generated vector, and the rendered waveform. Planner outputs are usually direction-correct, while downstream agreement can be substantially lower. Bypassing QwenEmotion provides only modest gains over the full planner-controlled Base. Supervising QwenEmotion raises the direction rate to 75% in Japanese and 84% in English. A learned text-to-latent interface reaches the highest English rate of 89% and the highest Japanese arousal rate of 88%. These results show that learned repair of the plan-to-synthesis interface can recover counter-textual delivery, although its effect differs across languages and acoustic axes.