Speech-based Slot Filling using Large Language Models

📄 arXiv: 2311.07418v1 📥 PDF

作者: Guangzhi Sun, Shutong Feng, Dongcheng Jiang, Chao Zhang, Milica Gašić, Philip C. Woodland

分类: cs.CL, cs.SD, eess.AS

发布日期: 2023-11-13

💡 一句话要点

提出基于大语言模型的槽位填充方法以应对噪声ASR转录问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 槽位填充 大语言模型 噪声ASR 知识注入 微调策略 自然语言处理 智能语音助手

📋 核心要点

  1. 现有的槽位填充方法在处理噪声ASR转录时表现不佳，导致信息提取的准确性下降。
  2. 论文提出通过上下文学习和任务特定微调来增强LLMs在噪声环境下的鲁棒性，同时引入线性知识注入方案以整合外部知识。
  3. 实验结果显示，结合微调和LKI方案的LLaMA-13B在SLURP数据集上实现了8.3%的SLU-F1提升，显著优于基线系统。

📝 摘要（中文）

近年来，大语言模型（LLMs）在各种语言任务中展现出前所未有的能力。本文探讨了LLMs在处理噪声自动语音识别（ASR）转录的槽位填充中的潜在应用，采用了上下文学习和任务特定的微调方法。提出了专门的提示设计和微调策略，以提高LLMs在噪声ASR转录下的鲁棒性。此外，提出了一种线性知识注入（LKI）方案，将动态外部知识整合到LLMs中。实验在SLURP数据集上进行，评估了不同ASR错误率下的LLMs性能，结果表明，结合微调和LKI方案的LLaMA-13B在有限数据设置下相较于强基线Flan-T5-base实现了8.3%的绝对SLU-F1提升。

🔬 方法详解

问题定义：本文旨在解决在噪声自动语音识别（ASR）转录下进行槽位填充的准确性问题。现有方法在面对ASR错误时，往往无法有效提取关键信息，导致性能下降。

核心思路：论文的核心思路是利用大语言模型的强大能力，通过上下文学习和任务特定的微调来提高其在噪声环境下的表现。同时，采用线性知识注入（LKI）方案，动态整合外部知识以增强模型的理解能力。

技术框架：整体架构包括数据预处理、模型微调和知识注入三个主要模块。首先对ASR转录进行清洗和标注，然后对LLMs进行微调，最后通过LKI方案将外部知识整合到模型中，以提升其性能。

关键创新：最重要的创新点在于提出了专门的提示设计和微调策略，以及线性知识注入方案。这些方法使得LLMs在处理噪声ASR转录时，能够更好地适应并提高准确性，与传统方法相比具有显著优势。

关键设计：在微调过程中，采用了特定的损失函数以优化槽位填充的准确性，同时在知识注入阶段，设计了动态更新机制，以确保外部知识的实时性和相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合微调和LKI方案的LLaMA-13B在SLURP数据集上实现了8.3%的SLU-F1提升，相较于强基线Flan-T5-base表现出显著的性能优势，验证了所提方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、客户服务自动化和语音命令识别等。通过提高槽位填充的准确性，能够显著提升用户体验和系统的整体性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recently, advancements in large language models (LLMs) have shown an unprecedented ability across various language tasks. This paper investigates the potential application of LLMs to slot filling with noisy ASR transcriptions, via both in-context learning and task-specific fine-tuning. Dedicated prompt designs and fine-tuning approaches are proposed to improve the robustness of LLMs for slot filling with noisy ASR transcriptions. Moreover, a linearised knowledge injection (LKI) scheme is also proposed to integrate dynamic external knowledge into LLMs. Experiments were performed on SLURP to quantify the performance of LLMs, including GPT-3.5-turbo, GPT-4, LLaMA-13B and Vicuna-13B (v1.1 and v1.5) with different ASR error rates. The use of the proposed fine-tuning together with the LKI scheme for LLaMA-13B achieved an 8.3% absolute SLU-F1 improvement compared to the strong Flan-T5-base baseline system on a limited data setup.