A Geometric Perspective on Composable Emotion Steering in Text-to-Speech Models

📄 arXiv: 2607.00946v1 📥 PDF

作者: Siyi Wang, James Bailey, Ting Dang

分类: cs.SD, cs.LG

发布日期: 2026-07-01

💡 一句话要点

提出几何视角下的情感引导方法以改善文本到语音合成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 情感控制 文本到语音合成 几何特性 语音语言模型 条件流匹配 激活引导 混合情感合成

📋 核心要点

  1. 现有的混合文本到语音合成方法在情感控制方面存在不足，尤其是在说话者与情感之间的解耦问题上。
  2. 本文提出了一种新的比较研究方法，通过分析SLM和CFM模块的几何特性来实现情感引导，提升合成效果。
  3. 实验结果显示，SLM在情感特定性和说话者解耦方面表现优越，而CFM在跨说话者泛化能力上存在缺陷。

📝 摘要（中文）

尽管之前的研究探讨了混合文本到语音（TTS）系统中的情感控制，但这些模块的几何特性及其对可引导性的影响仍不够明确。本文首次比较了语音语言模型（SLM）和条件流匹配（CFM）模块作为混合情感语音合成的激活引导点。我们首先通过线性探测和局部内在维度（LID）来表征情感表示，然后评估单点和联合引导在混合情感合成中的效果。结果表明，SLM提供了一个干净、低维的情感特定子空间，具有强的说话者-情感解耦，而CFM由于说话者-情感纠缠表现出较差的跨说话者泛化。联合引导虽然增加了情感强度，但降低了比例控制和在分布内数据上的语音质量。这些发现为混合TTS系统中的多点激活引导提供了实用指导，并强调了表示几何在可控语音生成中的重要性。

🔬 方法详解

问题定义：本文旨在解决混合文本到语音合成中情感控制的不足，特别是现有方法在说话者与情感之间的解耦能力较差，导致合成效果不理想。

核心思路：通过比较SLM和CFM模块的几何特性，提出了一种新的情感引导方法，旨在提高情感合成的可控性和质量。

技术框架：研究首先通过线性探测和局部内在维度（LID）对情感表示进行表征，接着评估单点和联合引导的效果，最后分析不同模块的表现。

关键创新：本文的主要创新在于首次系统性地比较了SLM和CFM在情感引导中的几何特性，揭示了它们在情感特定性和说话者解耦方面的本质区别。

关键设计：在实验中，采用了特定的损失函数来优化情感引导效果，并设计了适应不同说话者的网络结构，以提高合成的自然性和情感表达的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SLM在情感特定性和说话者解耦方面表现优越，能够提供更高的合成质量。联合引导虽然提高了情感强度，但在比例控制和语音质量上有所下降，显示出不同引导策略的权衡。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、情感化的语音合成系统以及游戏和动画中的角色语音生成。通过提高情感控制的可控性，能够为用户提供更具沉浸感和个性化的交互体验，未来可能在教育、娱乐等多个领域产生深远影响。

📄 摘要（原文）

While prior work has explored emotion control in hybrid text-to-speech systems, the geometric properties of these modules, and their implications for steerability, remain poorly understood. We present the first comparative study of speech language model (SLM) and conditional flow-matching (CFM) modules as activation steering sites for mixed emotion speech synthesis. We first characterize emotion representations using linear probing and local intrinsic dimensionality (LID), and then evaluate single-site and joint steering for mixed-emotion synthesis. Our results show that SLM offers a clean, low-dimensional emotion-specific subspace with strong speaker--emotion disentanglement, while CFM exhibitspoor cross-speaker generalization due to speaker--emotion entanglement. Joint steering increases emotion intensity but degrades proportional control and speech quality on in-distribution data. These findings provide practical guidance for multi-site activation steering in hybrid TTS systems and highlight the importance of representation geometry in controllable speech generation.