ECLM: Entity Level Language Model for Spoken Language Understanding with Chain of Intent

📄 arXiv: 2403.04481v4 📥 PDF

作者: Shangjian Yin, Peijie Huang, Jiatian Chen, Haojing Huang, Yuhong Xu

分类: cs.CL, cs.AI

发布日期: 2024-03-07 (更新: 2025-10-07)

备注: Published in ACL 2025

期刊: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), pages 21851-21862

🔗 代码/项目: GITHUB

💡 一句话要点

提出ECLM框架以解决口语理解中的意图识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 口语理解 意图识别 实体识别 多意图识别 大型语言模型

📋 核心要点

  1. 现有大型语言模型在口语理解任务中表现不佳，尤其在令牌级任务中存在对齐问题，难以捕捉语义间的细微关系。
  2. 本文提出ECLM框架，通过将槽填充任务转化为实体识别任务，并引入意图链概念，实现逐步的多意图识别。
  3. 实验结果显示，ECLM在MixATIS和MixSNIPS数据集上分别提升3.7%和3.1%，相较于标准微调方法，提升幅度更大，达到8.5%和21.2%。

📝 摘要（中文）

大型语言模型（LLMs）在语言生成和任务执行方面表现出色，但在口语理解（SLU）中应用仍面临挑战，尤其是在令牌级任务中，LLMs的自回归特性常导致对齐问题。此外，直接微调难以捕捉语义层面的细微关系。为了解决这些问题，本文提出了实体级语言模型（ECLM）框架，将槽填充重新定义为实体识别任务，并引入了“意图链”的新概念，以实现逐步的多意图识别。实验结果表明，ECLM在MixATIS和MixSNIPS数据集上显著超越强基线Uni-MIS，分别提升3.7%和3.1%。与标准的LLMs监督微调相比，ECLM在这两个数据集上进一步提升了8.5%和21.2%。

🔬 方法详解

问题定义：本文旨在解决口语理解中的意图识别问题，现有方法在令牌级任务中由于自回归特性导致对齐问题，且直接微调难以捕捉语义层面的复杂关系。

核心思路：ECLM框架通过将槽填充任务重新定义为实体识别任务，利用“意图链”概念实现逐步的多意图识别，从而提高理解的准确性和灵活性。

技术框架：ECLM的整体架构包括数据预处理、实体识别模块和意图链生成模块，首先对输入进行处理，然后识别出实体，最后生成意图链以实现多意图识别。

关键创新：ECLM的核心创新在于将传统的槽填充任务转化为实体识别任务，并引入了逐步识别的意图链概念，这与现有方法的直接微调方式有本质区别。

关键设计：在模型设计中，ECLM采用了特定的损失函数以优化实体识别的准确性，并在网络结构上进行了调整，以适应多意图识别的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ECLM在MixATIS和MixSNIPS数据集上分别实现了3.7%和3.1%的性能提升，显著超越了强基线Uni-MIS。此外，与标准的LLMs监督微调相比，ECLM在这两个数据集上分别提升了8.5%和21.2%，显示出其优越性。

🎯 应用场景

ECLM框架在智能助手、语音识别系统和人机交互等领域具有广泛的应用潜力。通过提高口语理解的准确性和灵活性，该研究能够提升用户体验，并推动相关技术的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated impressive capabilities in language generation and general task performance. However, their application to spoken language understanding (SLU) remains challenging, particularly for token-level tasks, where the autoregressive nature of LLMs often leads to misalignment issues. They also struggle to capture nuanced interrelations in semantic-level tasks through direct fine-tuning alone. To address these challenges, we propose the Entity-level Language Model (ECLM) framework, which reformulates slot-filling as an entity recognition task and introduces a novel concept, \textit{Chain of Intent}, to enable step-by-step multi-intent recognition. Experimental results show that ECLM significantly outperforms strong baselines such as Uni-MIS, achieving gains of 3.7\% on MixATIS and 3.1\% on MixSNIPS. Compared to standard supervised fine-tuning of LLMs, ECLM further achieves improvements of 8.5\% and 21.2\% on these datasets, respectively. Our code is available at https://github.com/SJY8460/ECLM.