InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems
作者: Richard Yucheng He, Chen Xu, Yihang Liu, Tairan Chen, Baodong Cao
分类: cs.SD, cs.CL, eess.AS
发布日期: 2026-11-02
备注: 21 pages, 1 figure, 14 tables
💡 一句话要点
提出InteractionBench以综合评估实时语音系统的多维性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 实时语音系统 性能评估 多维度测量 对话时机 口语任务准确性 低语控制 基准测试
📋 核心要点
- 现有的实时语音系统基准测试往往只关注单一维度，缺乏综合评估的工具，导致系统性能的全面了解不足。
- InteractionBench通过统一的评估框架，测量对话时机、口语任务准确性、低语和音量等多个维度，提供了更全面的性能评估。
- 在1,519次评估中，发现不同系统在时机和任务准确性上存在显著差异，级联系统在口语任务评分上表现最佳，显示出该基准的有效性。
📝 摘要（中文）
大多数实时语音系统的基准测试集中于单一方面，如轮流发言、指令跟随、语用控制或对话记忆，每个方面都有其独特的数据和系统。本文提出了InteractionBench，一个基准和评估工具，能够从相同的用户录音中测量四个维度：对话时机、口语任务准确性、低语和音量，以及超过二十轮对话的基础性。该基准包含十三个场景下每个系统的221个项目。在系统运行之前，我们通过规则固定口语任务的预期控制动作，并从脚本对话中获取预期答案。我们通过音频信号对低语进行评分，并对多个系统进行了1,519次评分运行的评估。实验结果显示，六个全双工系统的时机和口语任务准确性呈现较强的相关性，而级联系统在口语任务评分中表现最佳。
🔬 方法详解
问题定义：本研究旨在解决现有实时语音系统基准测试只关注单一方面的问题，缺乏对系统多维性能的综合评估。现有方法无法全面反映系统在实际应用中的表现。
核心思路：InteractionBench通过统一的评估框架，测量对话时机、口语任务准确性、低语和音量等四个维度，确保在相同的用户录音下进行评估，从而提供更全面的性能分析。
技术框架：该框架包含多个模块，包括数据收集、预期控制动作的设定、音频信号分析和评分机制。每个系统在十三个场景下进行评估，每个场景包含221个项目。
关键创新：InteractionBench的最大创新在于其多维度评估能力，能够同时测量多个性能指标，而不是单一维度的评估。这种设计使得不同系统的性能可以在相同条件下进行比较。
关键设计：在评估过程中，预期控制动作通过规则固定，预期答案来自脚本对话。低语评分通过音频信号分析实现，确保评估的准确性和一致性。
📊 实验亮点
实验结果显示，在六个全双工系统中，时机和口语任务准确性之间的相关性达到0.83，级联系统在口语任务评分中获得38/50的最高分，而时机评分却是第二低。只有Gemini Live在大多数请求中实现低语，显示出不同系统在性能上的显著差异。
🎯 应用场景
InteractionBench的研究成果可广泛应用于实时语音系统的开发与优化，尤其是在智能助手、语音识别和人机交互等领域。通过提供全面的性能评估，开发者可以更好地理解系统的优缺点，从而进行针对性的改进，提升用户体验。
📄 摘要（原文）
Most benchmarks for real-time voice systems focus on one aspect, such as turn-taking, instruction following, paralinguistic control, or conversational memory, each with its own data and set of systems. We present InteractionBench, a benchmark and evaluation harness that measures four dimensions on the same systems from the same recorded user audio: conversational timing, spoken-task accuracy, whisper and volume, and groundedness in conversations of more than twenty turns. The benchmark contains 221 items per system in thirteen scenarios. Before any system runs, we fix the expected floor-control actions for spoken tasks by rule and take the expected answers from scripted dialogues. We score whispering from the audio signal. We evaluate GPT-Live, GPT-Realtime, Gemini Live, Moshi, PersonaPlex, Freeze-Omni, and a turn-based cascade in 1,519 graded runs. Among the six full-duplex systems, timing and spoken-task accuracy are rank-correlated ($ρ= 0.83$), while the cascade has the highest spoken-task score (38/50) and the second-lowest timing score. No system corrects a user's grammar within the required window. Only Gemini Live whispers on most requests (8/10). Hosted systems pass 67-88% of groundedness probes, compared with 14-35% for open full-duplex models. Timing is measured where the client hears each system, so the timing of hosted systems includes network delay: for GPT-Live, whose server reports its own clock, removing a delay of about 1.5 s lowers its timing score from 86% to 56%. We also document where the protocol differs across systems, including the text instructions.