ILLUMINER: Instruction-tuned Large Language Models as Few-shot Intent Classifier and Slot Filler

📄 arXiv: 2403.17536v1 📥 PDF

作者: Paramita Mirza, Viju Sudhi, Soumya Ranjan Sahoo, Sinchana Ramakanth Bhat

分类: cs.CL

发布日期: 2024-03-26

备注: Accepted at LREC-COLING 2024

💡 一句话要点

提出ILLUMINER以解决意图分类和槽填充问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 意图分类 槽填充 指令调优 大型语言模型 自然语言处理 数据效率 深度学习

📋 核心要点

  1. 现有的意图分类和槽填充方法依赖于大量数据，导致其在实际应用中的局限性。
  2. 论文提出ILLUMINER，将意图分类和槽填充视为语言生成任务，利用指令调优的大型语言模型进行高效学习。
  3. 实验结果表明，使用FLAN-T5 11B模型的ILLUMINER在槽填充任务上显著优于现有方法，且微调所需数据量大幅减少。

📝 摘要（中文）

现有的意图分类（IC）和槽填充（SF）方法通常依赖于数据密集型的深度学习模型，这限制了其在工业应用中的实用性。相较之下，特别是经过指令调优的大型语言模型（Instruct-LLMs）在各种自然语言任务中展现出卓越的零-shot 性能。本研究评估了Instruct-LLMs在流行基准数据集上的IC和SF能力，强调其从少量示例中学习的能力。我们提出了ILLUMINER，将IC和SF框架化为Instruct-LLMs的语言生成任务，并提出了一种比以往工作更高效的SF提示方法。综合比较显示，使用FLAN-T5 11B模型的我们的方法在槽填充上超越了最先进的联合IC+SF方法和GPT3.5（175B）的上下文学习，提升幅度为11.1-32.2个百分点。此外，深入的消融研究表明，参数高效的微调只需不到6%的训练数据即可获得与传统全权重微调相当的性能。

🔬 方法详解

问题定义：本论文旨在解决意图分类（IC）和槽填充（SF）任务中现有方法对数据的高依赖性和效率低下的问题。现有的深度学习模型通常需要大量标注数据，限制了其在实际应用中的可行性。

核心思路：论文提出的ILLUMINER方法将IC和SF任务重新框架化为语言生成任务，利用指令调优的大型语言模型（Instruct-LLMs）来提高学习效率，尤其是在少量示例的情况下。

技术框架：ILLUMINER的整体架构包括数据预处理、模型训练和推理三个主要阶段。首先，通过设计高效的提示方法来引导模型进行意图分类和槽填充，然后在FLAN-T5 11B模型上进行训练和评估。

关键创新：ILLUMINER的主要创新在于其将IC和SF任务视为语言生成任务的框架，并提出了一种更高效的SF提示方法。这与传统方法的直接分类和填充方式有本质区别，显著提高了模型的性能和效率。

关键设计：在模型训练中，ILLUMINER采用了参数高效的微调策略，仅需不到6%的训练数据即可达到与传统全权重微调相当的性能。此外，设计了特定的损失函数以优化模型在IC和SF任务上的表现。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，ILLUMINER在槽填充任务上超越了最先进的联合IC+SF方法，提升幅度达到11.1-32.2个百分点。同时，使用FLAN-T5 11B模型的微调策略仅需不到6%的训练数据，展现出极高的参数效率。

🎯 应用场景

ILLUMINER的研究成果在智能客服、语音助手和对话系统等领域具有广泛的应用潜力。通过减少对数据的依赖，该方法能够加速模型的部署和应用，提升用户体验。此外，未来可扩展至更多自然语言处理任务，推动相关技术的发展。

📄 摘要（原文）

State-of-the-art intent classification (IC) and slot filling (SF) methods often rely on data-intensive deep learning models, limiting their practicality for industry applications. Large language models on the other hand, particularly instruction-tuned models (Instruct-LLMs), exhibit remarkable zero-shot performance across various natural language tasks. This study evaluates Instruct-LLMs on popular benchmark datasets for IC and SF, emphasizing their capacity to learn from fewer examples. We introduce ILLUMINER, an approach framing IC and SF as language generation tasks for Instruct-LLMs, with a more efficient SF-prompting method compared to prior work. A comprehensive comparison with multiple baselines shows that our approach, using the FLAN-T5 11B model, outperforms the state-of-the-art joint IC+SF method and in-context learning with GPT3.5 (175B), particularly in slot filling by 11.1--32.2 percentage points. Additionally, our in-depth ablation study demonstrates that parameter-efficient fine-tuning requires less than 6% of training data to yield comparable performance with traditional full-weight fine-tuning.