UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling

📄 arXiv: 2606.31128v1 📥 PDF

作者: Chuanbo Zhu, Wuyou Zhou, Rongxiu Zhong, Shilei Zhang, Kun Qian, Yike Guo, Wei Xue

分类: cs.SD, cs.AI, cs.CL, eess.AS

发布日期: 2026-06-30

💡 一句话要点

提出UniSAE以解决语音属性编辑的灵活性不足问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 语音编辑 情感计算 说话者控制 内容变换 离散表示

📋 核心要点

  1. 现有语音编辑方法主要集中在词级内容修改，缺乏对说话者和情感的灵活控制，限制了编辑的细粒度。
  2. UniSAE框架通过引入离散语音后验图（DPPG）表示，实现了从亚音素到词级的可组合编辑，提升了编辑的灵活性。
  3. 实验结果显示，UniSAE在说话者和情感控制、内容编辑的精确性上均有显著提升，支持多种编辑粒度。

📝 摘要（中文）

语音编辑旨在修改话语的特定部分，同时保留其余语音。现有方法主要集中在词级内容修改，通常将内容、说话者和情感编辑视为独立任务，限制了编辑的细粒度和灵活性。我们提出了UniSAE，一个统一的语音属性编辑框架，支持在单一架构中从亚音素到词级的可组合说话者、情感和内容编辑。UniSAE引入了一种离散语音后验图（DPPG）表示，将语音内容分解为编码音素身份、发音变体和时长的离散标记，从而实现直接的音素和亚音素级编辑。对于更高层次的修改，自回归内容变换器预测编辑后的DPPG序列以进行词级内容编辑。编辑后的序列通过基于扩散的声学解码器进行渲染，条件是解耦的说话者和情感表示。实验结果表明，所提出的统一框架支持精确的说话者和情感控制、多粒度的内容编辑，以及在单一框架内对所有三个属性的联合修改。

🔬 方法详解

问题定义：现有语音编辑方法在处理说话者、情感和内容修改时，通常将这些任务视为独立，导致编辑灵活性和细粒度不足。

核心思路：UniSAE通过引入离散语音后验图（DPPG）表示，将语音内容分解为离散标记，支持从亚音素到词级的综合编辑，提升了编辑的灵活性和精确性。

技术框架：UniSAE的整体架构包括三个主要模块：DPPG表示模块、内容变换器和声学解码器。DPPG模块负责将语音内容转化为离散标记，内容变换器进行自回归预测，声学解码器则将编辑后的序列转化为语音。

关键创新：最重要的技术创新在于DPPG表示的引入，它允许直接在音素和亚音素级别进行编辑，与现有方法相比，提供了更高的编辑灵活性和精度。

关键设计：在设计中，UniSAE采用了自回归内容变换器和基于扩散的声学解码器，确保了编辑过程中的信息传递和语音质量，同时通过解耦的说话者和情感表示来增强控制能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniSAE在说话者和情感控制方面的精确度显著提升，内容编辑的灵活性和准确性也得到了增强。与基线方法相比，UniSAE在多粒度内容编辑任务中表现出更高的编辑质量，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括语音合成、语音转换和情感计算等。UniSAE能够在多种场景下实现灵活的语音编辑，具有广泛的实际价值，能够提升人机交互的自然性和个性化程度。未来，该技术可能会在虚拟助手、游戏和娱乐等领域产生深远影响。

📄 摘要（原文）

Speech editing aims to modify specific portions of an utterance while preserving the remaining speech. Existing approaches primarily focus on word-level content modification and typically treat content, speaker, and emotion editing as separate tasks, limiting both editing granularity and flexibility. We propose UniSAE, a unified speech attribute editing framework which supports composable speaker, emotion and content editing from sub-phoneme to word level within a single architecture. UniSAE introduces a Discrete Phonetic PosteriorGram (DPPG) representation that factorizes speech content into discrete tokens encoding phoneme identity, pronunciation variants, and duration, enabling direct phoneme- and sub-phoneme-level editing. For higher-level modifications, an autoregressive content transformer predicts edited DPPG sequences for word-level content editing. The edited sequences are rendered into speech by a diffusion-based acoustic decoder, conditioned on disentangled speaker and emotion representations. Experimental results demonstrate that the proposed unified framework supports precise speaker and emotion control, content editing at multiple granularities, and joint modification of all three attributes within a single framework.