Adaptive Turn-Taking for Real-time Multi-Party Voice Agents

📄 arXiv: 2606.13544 📥 PDF

作者: Soumyajit Mitra, Prabhat Pandey, Abhinav Jain, Shanmukha Sahith, K V Vijay Girish

分类: eess.AS, cs.AI, cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出ModeratorLM以解决多方语音代理的轮流发言问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多方对话 语音代理 角色扮演 大语言模型 增强推理 实时交互 数据集构建

📋 核心要点

  1. 多方对话中，现有语音代理在轮流发言时面临动态竞争和用户期望变化的挑战，导致发言效率低下。
  2. 提出ModeratorLM，通过角色扮演的方式调节发言行为，利用大语言模型和增强推理机制来优化对话过程。
  3. 实验结果显示，在真实会议数据和合成数据集上，轮流发言的精准度和召回率显著提升，误报干扰大幅减少。

📝 摘要（中文）

多方语音对话中的轮流发言仍然是语音代理面临的基本挑战，尤其是在动态的发言竞争和用户期望变化的情况下。本文提出了ModeratorLM，一个角色扮演的语音代理，能够根据明确分配的角色来调节轮流发言行为。该系统基于一种分块流式处理的语音大语言模型，并引入了一种增强推理的变体，结合了对会话上下文和分配角色的链式思维推理。通过构建RolePlayConv，一个大规模的合成多方对话数据集，实验结果表明，在真实会议数据和RolePlayConv上，轮流发言的精准度提高了40%以上，召回率提高了70%以上，同时显著减少了与非角色条件基线相比的误报干扰。

🔬 方法详解

问题定义：本文旨在解决多方语音对话中轮流发言的挑战，现有方法在动态发言竞争和用户期望变化下表现不佳，导致发言效率低下和误报干扰增多。

核心思路：提出ModeratorLM，基于角色扮演的语音代理，通过明确分配角色来调节发言行为，结合大语言模型和推理机制，提升对话的流畅性和准确性。

技术框架：系统架构包括角色分配模块、语音识别模块和基于角色的发言调节模块。采用分块流式处理的方式，确保实时性和响应性。

关键创新：引入角色条件的发言调节机制和增强推理能力，显著提升了轮流发言的精准度和召回率，与传统方法相比，能够更好地适应动态对话环境。

关键设计：在模型设计中，采用了特定的损失函数来优化发言的准确性，并通过大规模合成数据集RolePlayConv进行训练，确保模型在多种角色下的适应性和鲁棒性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，ModeratorLM在真实会议数据和RolePlayConv上，轮流发言的精准度提高超过40%，召回率提升超过70%，同时显著减少了误报干扰，相较于非角色条件基线，表现出更优的性能。

🎯 应用场景

该研究的潜在应用领域包括会议助手、智能客服和社交机器人等多方语音交互场景。通过优化轮流发言机制，可以提升用户体验，减少误报干扰，推动语音代理在复杂对话环境中的实际应用和发展。

📄 摘要（原文）

Turn-taking in multi-party spoken conversations remains a fundamental challenge for voice-based agents, particularly under dynamic floor competition and varying user expectations. We propose ModeratorLM, a role-playing voice agent that conditions turn-taking behavior on an explicitly assigned role in multi-party settings. The system is built on a speech large language model operating in chunk-wise streaming manner. We further introduce a reasoning-augmented variant that incorporates chain-of-thought reasoning over conversational context and the assigned role. We construct RolePlayConv, a large-scale synthetic dataset of spoken multi-party conversations with diverse assistant roles. Experiments on real-world meeting data and RolePlayConv show improved turn-taking precision by over 40% and recall by more than 70%, while substantially reducing false-positive interruptions compared to non-role-conditioned baselines.