Entity Binding Failures in Speech LLM Reasoning: Diagnosis and Chain-of-Thought Intervention
作者: Ming-Hao Hsu, Xiaohai Tian, Jun Zhang, Zhizheng Wu
分类: cs.CL, eess.AS
发布日期: 2026-06-12
💡 一句话要点
提出EA-CoT以解决语音LLM推理中的实体绑定失败问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音模型 逻辑推理 实体绑定 链式思维 深度学习 自然语言处理
📋 核心要点
- 现有的语音大型语言模型在逻辑推理任务中表现不佳，尤其是在需要实体跟踪的情况下，准确率显著下降。
- 论文提出了实体感知链式思维（EA-CoT），通过强制模型在推理前明确实体与主张的绑定，解决了实体绑定失败的问题。
- 实验结果显示，EA-CoT在语音识别错误的情况下，仍能实现高达24.4个百分点的准确率提升，验证了其有效性。
📝 摘要（中文）
语音大型语言模型（SLLMs）在复杂推理任务中表现不如文本模型。我们发现这种差距并非均匀的认知缺陷。通过评估两种不同架构的SLLMs，我们发现语音转文本（S2T）在空间、句法和事实任务上表现良好，甚至超过文本转文本（T2T）。然而，在需要实体跟踪的逻辑任务中，S2T的准确率骤降至随机水平。我们将此诊断为实体绑定失败：连续的语音特征模糊了隐式推理中的精确实体-属性关联。为验证这一诊断，我们提出了实体感知链式思维（EA-CoT），这是一种轻量级的推理干预方法，强制SLLMs在推理前枚举实体并将其绑定到主张上。即使在口语名称被误识别的情况下，EA-CoT也能缩小这一差距，准确率提升可达24.4个百分点。消融实验确认了提升源于显式语义绑定，将差距重新框定为引导失败而非缺失能力。
🔬 方法详解
问题定义：本论文旨在解决语音大型语言模型在逻辑推理任务中出现的实体绑定失败问题。现有方法在处理连续语音特征时，无法准确建立实体与属性之间的关联，导致推理准确率显著下降。
核心思路：论文提出的EA-CoT方法通过在推理过程中强制模型明确列出实体并将其绑定到主张上，从而改善模型的推理能力。这种设计旨在减少语音特征模糊带来的影响，增强模型的逻辑推理能力。
技术框架：EA-CoT的整体架构包括两个主要阶段：首先，模型在推理前进行实体枚举和绑定；其次，基于这些绑定进行逻辑推理。该框架确保了推理过程中的语义清晰性。
关键创新：EA-CoT的核心创新在于引入了显式的实体绑定机制，区别于传统方法的隐式推理。这一机制有效地解决了语音模型在逻辑推理中的实体跟踪问题。
关键设计：在EA-CoT中，设计了特定的参数设置和损失函数，以优化实体绑定的准确性。此外，网络结构经过调整，以支持在推理过程中进行实体的显式枚举和绑定。通过这些设计，模型能够在面对语音识别错误时仍保持较高的推理准确率。
📊 实验亮点
实验结果表明，EA-CoT在处理逻辑推理任务时，准确率提升可达24.4个百分点，显著优于基线模型。即使在口语名称被误识别的情况下，EA-CoT依然能够有效缩小性能差距，验证了其在实体绑定方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能语音助手、自动问答系统和语音翻译等。通过提升语音模型在逻辑推理任务中的表现，EA-CoT可以显著改善用户体验，推动语音交互技术的发展。未来，随着技术的进步，该方法可能在更多复杂的推理任务中得到应用，进一步拓展语音模型的应用范围。
📄 摘要（原文）
Speech Large Language Models (SLLMs) underperform their text counterparts on complex reasoning. We reveal that this gap is not a uniform cognitive deficit. Evaluating two architecturally diverse SLLMs, we show speech-to-text (S2T) matches or exceeds text-to-text (T2T) on spatial, syntactic, and factual tasks. Yet on logical tasks requiring entity tracking, S2T accuracy collapses to chance. We diagnose this as an entity binding failure: continuous speech features blur precise entity-property associations during implicit reasoning. To validate this diagnosis, we introduce Entity-Aware Chain-of-Thought (EA-CoT), a lightweight inference-time intervention forcing SLLMs to enumerate entities and bind them to claims before reasoning. EA-CoT bridges the gap, even when spoken names are misrecognized, yielding up to a 24.4 percentage-point accuracy gain. Ablations confirm the gains stem from explicit semantic binding, reframing the gap as an elicitation failure rather than a missing capability.