DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents

📄 arXiv: 2609.03423v1 📥 PDF

作者: Puneet Mathur, Dinesh Manocha

分类: cs.AI

发布日期: 2026-09-03

备注: Under Submission

💡 一句话要点

提出DuplexSpeechBench-IFEval以评估全双工语音代理的隐式指令遵循能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全双工语音代理 隐式指令遵循 对话系统 角色推断 实时交互 性能评估 智能助手

📋 核心要点

  1. 现有基准测试主要依赖显式指令，无法有效评估全双工语音代理在隐式指令下的表现。
  2. 提出DSB-IFEval基准，通过多种角色和条件协议评估语音代理的隐式指令遵循能力。
  3. 实验结果显示，全双工模型在不同指令条件下的表现存在显著差异，尤其在角色隐含行为的推断上。

📝 摘要（中文）

全双工语音代理需要在对话中不断做出决策，包括何时倾听、打断、处理语音重叠等。现有基准主要通过显式的轮次管理指令来测试这些行为，而实际部署的代理通常通过角色或人格来配置，从中推断适当的对话行为。本文提出了DuplexSpeechBench-IFEval（DSB-IFEval），用于评估实时语音交互中的隐式指令遵循能力。DSB-IFEval包含1,038个测试案例，涵盖八种不同的助手角色，并评估五种指令遵循的条件协议。研究发现，全双工模型在显式和隐式指令下的遵循能力存在显著差异，揭示了推断角色隐含行为、适时执行及解决竞争指令的挑战。

🔬 方法详解

问题定义：本文旨在解决全双工语音代理在隐式指令遵循方面的评估问题。现有方法主要依赖显式指令，无法真实反映实际应用中的对话行为。

核心思路：通过引入DuplexSpeechBench-IFEval基准，评估语音代理在不同角色和条件下的隐式指令遵循能力，旨在更真实地模拟实际对话场景。

技术框架：DSB-IFEval包含1,038个测试案例，涵盖八种助手角色，评估五种指令遵循协议，包括默认行为、显式指令、角色隐含行为等。

关键创新：最重要的创新在于引入了基于角色的隐式指令遵循评估，强调了在实际对话中推断行为的重要性，与现有方法相比，提供了更全面的评估视角。

关键设计：采用了确定性的指令遵循评分（IAS）和基于大型语言模型的角色一致性评分（PAS），通过这些指标评估语音代理的实时表现和内容一致性。实验中发现不同模型在角色隐含行为的遵循能力上存在显著差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，全双工模型如F-Actor和PersonaPlex在角色隐含行为的遵循上表现出明显的敏感性，遵循率分别下降9.7%和4.5%。而GPT-Realtime等模型在内容一致性上表现良好，但在地板行为的适应性上存在局限，显示出不同模型在隐式指令遵循中的性能差异。

🎯 应用场景

该研究的潜在应用领域包括智能助手、客服机器人和人机交互系统。通过提升全双工语音代理的隐式指令遵循能力，可以改善用户体验，使其在实际应用中更自然地进行对话，未来可能推动更智能的语音交互技术的发展。

📄 摘要（原文）

Full-duplex voice agents must continuously decide when to listen, backchannel, interrupt, handle speech overlaps, take the floor, and yield. Existing benchmarks largely test these behaviors through explicit turn-management instructions, while deployed agents are often configured through roles or personas from which the appropriate conversational behavior must be inferred. We introduce DuplexSpeechBench-IFEval (DSB-IFEval) for evaluating implicit instruction-following in real-time spoken interaction. (DSB-IFEval) comprises 1,038 test cases spanning eight diverse assistant roles and evaluates five conditioning protocols for instruction-following: default behavior, explicit behavioral instructions, persona-implied behavior, combined persona--rule conditioning, and instruction conflict. We measure real-time floor management using a deterministic Instruction Adherence Score (IAS) and persona-consistent content using LLM-judged Persona Adherence Score (PAS). Across six real-time speech systems, we find architecture-dependent trade-offs. Full duplex models like F-Actor and PersonaPlex are more sensitive to whether conversational behavior is stated explicitly or must be inferred from a persona, with adherence dropping by 9.7% and 4.5%, respectively, under persona-only conditioning. In contrast, GPT-Realtime, MiniCPM-o, and Fun-Audio-Chat strongly adhere to persona-consistent content, but their floor behavior does not adapt across explicit and persona-only instructions and remains constrained on several proactive actions. We further find that even if systems reliably follow conflicting directives to their prescribed persona, they still struggle to override them under safety conflict. These results show that inferring the behavior implied by a role, executing it at the appropriate conversational moment, and resolving competing instructions remain distinct challenges for full-duplex voice agents.