SFL-MTSC: Leveraging Semantic Frame-Level Multi-Task Self-Consistency for Robust Multi-Intent Spoken Language Understanding

📄 arXiv: 2606.25552v1 📥 PDF

作者: Po-Yen Chen, Berlin Chen

分类: cs.CL, cs.AI

发布日期: 2026-06-24

备注: Interspeech 2026

💡 一句话要点

提出SFL-MTSC以解决多意图语音理解中的一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音理解 多意图识别 自一致性 语义框架 聚类方法 自然语言处理 智能助手

📋 核心要点

  1. 现有的基于提示的语音理解方法在多意图场景中面临解码随机性导致的意图-槽结构不一致问题。
  2. 本文提出的SFL-MTSC方法通过语义帧级别的结构化聚合，解决了意图预测中的一致性问题。
  3. 在MAC-SLU基准数据集上的实验结果显示，SFL-MTSC在槽F1和整体准确率上优于单路径推理，意图准确率保持稳定。

📝 摘要（中文）

基于提示的语音理解（SLU）在多意图场景中常因解码随机性导致意图-槽结构不一致。为此，本文提出了一种新颖的结构化聚合框架——语义帧级多任务自一致性（SFL-MTSC）。该方法通过将预测分解为特定意图的帧，应用领域-意图分组和槽级聚类，并利用路径支持评分评估聚类可靠性，从而保留可靠帧并重新整合形成最终预测。在MAC-SLU基准数据集上的零-shot实验表明，相较于单路径推理，槽F1和整体准确率有所提升，而意图准确率在大多数设置下保持稳定。

🔬 方法详解

问题定义：本文旨在解决多意图语音理解中因解码随机性导致的意图-槽结构不一致问题。现有方法通常依赖于输出级的多数投票，无法有效处理意图间的复杂关系。

核心思路：SFL-MTSC通过将预测分解为意图特定的语义帧，结合领域-意图分组和槽级聚类，来增强预测的一致性和可靠性。此设计旨在通过结构化聚合来提高多意图场景下的理解准确性。

技术框架：该方法的整体架构包括多个主要模块：首先，将预测分解为意图特定的帧；其次，进行领域-意图分组和槽级聚类；最后，通过路径支持评分评估聚类的可靠性，保留可靠帧并重新整合形成最终预测。

关键创新：SFL-MTSC的主要创新在于其在语义帧级别进行多任务自一致性聚合，区别于传统的单路径推理方法，能够更好地处理多意图场景中的复杂性。

关键设计：在实现过程中，采用了路径支持评分作为聚类可靠性评估的关键指标，确保了最终预测的准确性。此外，聚类过程中的参数设置和损失函数设计也经过精心调整，以优化模型性能。

🖼️ 关键图片

fig_0

📊 实验亮点

在MAC-SLU基准数据集上的零-shot实验中，SFL-MTSC方法在槽F1和整体准确率上均优于传统的单路径推理，具体提升幅度未知，而意图准确率在大多数设置下保持稳定，显示出其在多意图理解中的有效性。

🎯 应用场景

该研究在智能助手、语音交互系统等领域具有广泛的应用潜力。通过提高多意图语音理解的准确性，能够显著提升用户体验，推动智能语音技术的进一步发展。未来，该方法还可扩展至其他自然语言处理任务，具有重要的实际价值和影响力。

📄 摘要（原文）

Prompt-based spoken language understanding (SLU) with large language models (LLMs) often suffers from inconsistent intent--slot structures due to decoding stochasticity, particularly in multi-intent scenarios. In view of this, we propose Semantic Frame-Level Multi-Task Self-Consistency (SFL-MTSC), a novel structured aggregation framework operating at the semantic frame level. Instead of output-level majority voting, SFL-MTSC decomposes predictions into intent-specific frames, applies domain--intent grouping and slot-level clustering, and evaluates cluster reliability using path support scoring. Reliable frames are retained and re-integrated to form the final prediction. Zero-shot experiments on the MAC-SLU benchmark dataset show improved slot F1 and overall accuracy over single-path inference, while intent accuracy remains largely stable across most settings.