Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors
作者: Michael Finkelson, Daniel Segal, Eitan Richardson, Shahar Armon, Nani Goldring, Poriya Panet, Nir Zabari, Benjamin Brazowski, Or Patashnik, Yoav HaCohen
分类: cs.SD, cs.AI, cs.CV
发布日期: 2026-06-17
备注: Project page at https://finmickey.github.io/scena/
💡 一句话要点
提出ScenA以解决多说话者音频场景生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多说话者音频生成 自然语言处理 音频场景合成 深度学习 机器学习
📋 核心要点
- 现有多说话者对话系统依赖结构化监督，无法生成真实环境中的音频场景，缺乏自然性。
- ScenA方法通过条件化基础模型，结合多个参考声音和自由文本提示，生成多说话者音频场景。
- 在CoVoMix2-Dialogue基准上，ScenA在说话者绑定指标上表现优异，生成的音频更具真实感和丰富性。
📝 摘要（中文）
现有的多说话者对话系统通过结构化监督将说话者与发言绑定，通常只生成干净的语音序列，缺乏真实对话的环境音效。本文提出的方法ScenA，直接基于多个参考声音和自由形式的自然语言提示，条件化一个经过大规模野外数据预训练的文本到音频流匹配基础模型。该方法能够生成包含背景噪声、房间声学、重叠对话和自发的副语言事件的自然音频，同时无需每轮结构化的控制。通过在训练中引入高噪声偏置的时间步分布，迫使模型依赖文本提示进行说话者分配。实验结果表明，ScenA在CoVoMix2-Dialogue基准上超越了现有的多说话者系统，生成丰富的对话音频。
🔬 方法详解
问题定义：现有的多说话者对话系统通过结构化监督将说话者与发言绑定，导致生成的音频缺乏真实环境的音效和自然性。
核心思路：本文提出的ScenA方法，直接基于多个参考声音和自由形式的自然语言提示，条件化一个经过大规模野外数据预训练的文本到音频流匹配基础模型，以生成更自然的多说话者音频场景。
技术框架：ScenA的整体架构包括一个文本到音频的流匹配基础模型，模型输入为参考潜变量和自然语言提示，输出为多说话者音频场景。模型通过轻量级的身份感知位置编码来区分不同的说话者。
关键创新：最重要的技术创新在于引入高噪声偏置的时间步分布，解决了模型在训练中可能通过声学相似性绕过文本提示的问题，从而确保模型依赖文本进行说话者分配。
关键设计：模型的设计包括参考潜变量的拼接、轻量级身份感知位置编码的使用，以及在训练过程中采用的高噪声偏置时间步分布，以增强模型对文本提示的依赖性。
🖼️ 关键图片
📊 实验亮点
在CoVoMix2-Dialogue基准上，ScenA在说话者绑定指标上超越了现有多说话者系统，生成的音频在重叠语音、情感表达和环境音方面表现出色，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟助手、游戏音频生成和电影配音等，能够为多说话者场景提供更自然的音频生成，提升用户体验。未来，该技术可能在智能音频处理和人机交互中发挥重要作用。
📄 摘要（原文）
Existing multi-speaker dialogue systems bind speakers to utterances through structured supervision: per-turn tags, multi-stream transcriptions, or learnable speaker embeddings. These systems operate within speech-only pipelines that produce clean vocal sequences without the ambient texture of real conversations. We take a different approach. Our method, ScenA, conditions a text-to-audio flow-matching foundation model, pretrained on large-scale in-the-wild data, directly on multiple reference voices and a free-form natural language prompt that describes an entire multi-speaker audio scene. Leveraging such a foundational model allows us to inherit its capacity for natural, non-studio audio: background noise, room acoustics, overlapping dialogue, and spontaneous paralinguistic events, while adding multi-speaker control without any per-turn structure. Concretely, reference latents are concatenated into the model's token sequence and distinguished by lightweight identity-aware positional encodings. However, we identify a critical obstacle to this approach: the \textit{Reference Shortcut}. During training under standard noise schedules, the model can identify the matching reference by acoustic similarity to the noisy target, bypassing the text prompt entirely. We address this with a high-noise-biased timestep distribution that forces the model to rely on the text prompt for speaker assignment. We evaluate ScenA on the CoVoMix2-Dialogue benchmark, showing that it outperforms existing multi-speaker systems on speaker-binding metrics while generating rich conversational audio with overlapping speech, emotional vocalizations, and ambient sound. Our results demonstrate the advantage of using a general-purpose audio model conditioned on a free-form scene description, rather than passing structured dialog scripts through a speech-only pipeline.