Sequential Trajectories and Simultaneous Blending: Multi-Emotion Modeling for Instruction-Following TTS
作者: Yan Zhou, Yun Hong, Yang Feng
分类: cs.CL, cs.SD
发布日期: 2026-08-31
备注: Code is available at https://github.com/ictnlp/HybridEmo. Demo page: https://zhouyan19.github.io/HybridEmo-demo/
💡 一句话要点
提出HybridEmo以解决多情感控制的TTS问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多情感TTS 情感轨迹 情感混合 语音合成 深度学习
📋 核心要点
- 现有情感TTS系统主要关注单一情感，缺乏对多情感控制的深入研究，导致情感轨迹和混合任务的监督不匹配。
- 提出HybridEmo框架，通过后训练方法结合监督微调和样本感知混合奖励，解决多情感TTS中的轨迹和混合问题。
- 在MultiEmo-Test上，HybridEmo显著提升了轨迹的正确性和混合强度，且与其他基线相比，保持了说话者的相似性。
📝 摘要（中文）
自然语言指令使合成语音的控制更加灵活，但现有情感TTS系统主要集中于单一的情感表达，导致多情感控制的研究不足。本文研究了两个互补的多情感TTS任务：情感轨迹和情感混合。为了解决监督不匹配的问题，提出了HybridEmo框架，通过样本感知的混合奖励对语音策略进行对齐。实验结果表明，HybridEmo在多情感测试中显著提高了轨迹的正确性和混合强度，同时保持了说话者的相似性。
🔬 方法详解
问题定义：本文旨在解决多情感TTS中的情感轨迹和情感混合任务，现有方法在监督微调中未能有效评估情感特征，导致反馈不够结构化。
核心思路：HybridEmo框架通过后训练方法初始化两个任务，并利用样本感知的混合奖励对语音策略进行对齐，以实现更好的情感控制。
技术框架：该框架包括两个主要模块：情感轨迹和情感混合。轨迹模块通过段对齐一致性来保持情感阶段的正确性，而混合模块则使用GMM奖励结合目标情感锚点的支持。
关键创新：HybridEmo的创新在于引入样本感知的混合奖励机制，解决了现有方法在情感轨迹和混合任务中的反馈不足问题。
关键设计：在设计中，轨迹样本采用平均和最弱阶段证据的组合，而混合样本则结合了帧级支持和弱目标边际，确保了情感表达的完整性和准确性。
🖼️ 关键图片
📊 实验亮点
在MultiEmo-Test上，HybridEmo显著提高了轨迹的正确性和混合强度，且与CosyVoice 3和EmoVoice-0.5B相比，获得了更高的人类评估偏好，几乎与Qwen3-TTS持平，展示了其在多情感TTS中的优越性。
🎯 应用场景
该研究的潜在应用领域包括智能语音助手、游戏角色语音合成以及情感化的教育工具等。通过实现多情感控制，能够提升用户体验，使合成语音更加自然和富有表现力，未来可能对人机交互产生深远影响。
📄 摘要（原文）
Natural-language instructions enable flexible control of synthesized speech, yet emotional TTS systems primarily model a single utterance-level affect, leaving multi-emotion control underexplored. We study two complementary multi-emotion TTS tasks: emotion trajectory, which spans several ordered affective stages, and emotion blending, in which multiple emotions coexist throughout an utterance. These tasks expose a supervision mismatch: supervised fine-tuning (SFT) does not explicitly evaluate emotion features, while single-emotion rewards provide neither structure-aware feedback for trajectory completion nor pair-aware feedback for blending. We introduce HybridEmo, a post-training framework that initializes both tasks with SFT and then aligns the speech-token policy through Group Relative Policy Optimization using a sample-aware hybrid reward. For trajectory samples, segment-aligned consistency combines average and weakest-stage evidence to preserve the correctness and completeness of prescribed stages. For blending samples, a GMM-based reward combines frame-level support from the union of target-emotion anchors in an offline emotion space with an utterance-level weaker-target margin. Both branches share an ASR reward and are routed within a unified policy. On MultiEmo-Test, HybridEmo significantly improves trajectory correctness and blending intensity, without a noticeable degradation in speaker similarity. Human evaluation prefers HybridEmo to CosyVoice 3 and EmoVoice-0.5B, with nearly balanced preferences against Qwen3-TTS.