Adaptive Turn-Taking for Real-time Multi-Party Voice Agents

📄 arXiv: 2606.13544v1 📥 PDF

作者: Soumyajit Mitra, Prabhat Pandey, Abhinav Jain, Shanmukha Sahith, K V Vijay Girish

分类: eess.AS, cs.AI, cs.CL

发布日期: 2026-06-11

备注: Accepted for publication at Interspeech 2026

💡 一句话要点

提出ModeratorLM以解决多方语音代理的轮流发言问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多方对话 语音代理 角色扮演 大语言模型 推理增强 数据集构建 轮流发言

📋 核心要点

  1. 现有的多方语音代理在动态发言竞争和用户期望变化下，轮流发言的准确性和效率仍然不足。
  2. 提出的ModeratorLM通过角色扮演机制来调节轮流发言行为，利用大语言模型进行流式处理。
  3. 实验结果表明，该方法在真实会议数据和合成数据集上，轮流发言的精确度和召回率均有显著提升。

📝 摘要（中文）

多方语音对话中的轮流发言仍然是语音代理面临的基本挑战，尤其是在动态的发言竞争和用户期望变化的情况下。本文提出了ModeratorLM，一个角色扮演的语音代理，能够根据明确分配的角色调节轮流发言行为。该系统基于一种逐块流式处理的语音大语言模型，并引入了一种增强推理的变体，结合了对话上下文和分配角色的链式思维推理。通过构建RolePlayConv，一个包含多样化助手角色的大规模合成数据集，实验结果显示，在真实会议数据和RolePlayConv上，轮流发言的精确度提高超过40%，召回率提高超过70%，同时显著减少了与非角色条件基线相比的误报干扰。

🔬 方法详解

问题定义：本文旨在解决多方语音对话中轮流发言的挑战，现有方法在动态环境下的表现不佳，导致发言准确性和用户体验下降。

核心思路：ModeratorLM通过角色扮演机制来调节发言行为，利用明确分配的角色来指导语音代理的响应，从而提高发言的准确性和流畅性。

技术框架：该系统基于一种逐块流式处理的语音大语言模型，包含角色分配、上下文理解和推理增强等模块，确保在多方对话中有效管理发言顺序。

关键创新：最重要的创新在于引入了角色条件的发言机制和推理增强的链式思维，显著提高了多方对话中的发言精确度和召回率。

关键设计：在模型设计中，采用了特定的损失函数来优化发言的准确性，并通过构建RolePlayConv数据集来训练和评估模型性能，确保模型能够适应多样化的对话场景。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，ModeratorLM在真实会议数据和RolePlayConv数据集上，轮流发言的精确度提高超过40%，召回率提高超过70%，同时显著减少了误报干扰，相较于非角色条件的基线方法表现出色。

🎯 应用场景

该研究的潜在应用场景包括会议助手、在线教育、客服系统等多方语音交互环境。通过提高语音代理的轮流发言能力，可以显著改善用户体验，提升沟通效率，未来可能在智能助手和社交机器人等领域发挥重要作用。

📄 摘要（原文）

Turn-taking in multi-party spoken conversations remains a fundamental challenge for voice-based agents, particularly under dynamic floor competition and varying user expectations. We propose ModeratorLM, a role-playing voice agent that conditions turn-taking behavior on an explicitly assigned role in multi-party settings. The system is built on a speech large language model operating in chunk-wise streaming manner. We further introduce a reasoning-augmented variant that incorporates chain-of-thought reasoning over conversational context and the assigned role. We construct RolePlayConv, a large-scale synthetic dataset of spoken multi-party conversations with diverse assistant roles. Experiments on real-world meeting data and RolePlayConv show improved turn-taking precision by over 40% and recall by more than 70%, while substantially reducing false-positive interruptions compared to non-role-conditioned baselines.