Beyond the Known: Investigating LLMs Performance on Out-of-Domain Intent Detection

📄 arXiv: 2402.17256v2 📥 PDF

作者: Pei Wang, Keqing He, Yejie Wang, Xiaoshuai Song, Yutao Mou, Jingang Wang, Yunsen Xian, Xunliang Cai, Weiran Xu

分类: cs.CL

发布日期: 2024-02-27 (更新: 2024-03-04)

期刊: LREC-COLING 2024

💡 一句话要点

评估大型语言模型在领域外意图检测中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 领域外意图检测 大型语言模型 零样本学习 少样本学习 知识转移 任务导向对话系统 模型评估

📋 核心要点

  1. 现有方法主要依赖微调判别模型，难以有效应对领域外意图检测的挑战。
  2. 本文通过全面评估LLMs在OOD检测中的表现，探讨其优势与不足，提出改进方向。
  3. 研究结果显示，LLMs在零样本和少样本任务中表现优异，但仍不及全资源微调模型。

📝 摘要（中文）

领域外（OOD）意图检测旨在判断用户查询是否超出系统预定义领域，这对任务导向对话系统的正常运行至关重要。以往方法通过微调判别模型来解决此问题。近期研究探索了大型语言模型（LLMs）在各种下游任务中的应用，但其在OOD检测任务上的能力尚不明确。本文对LLMs在不同实验设置下进行了全面评估，概述了其优缺点。研究发现，LLMs在零样本和少样本能力上表现强劲，但与全资源微调模型相比仍处于劣势。通过一系列附加分析实验，讨论了LLMs面临的挑战，并为未来工作提供了指导，包括注入领域知识、加强从领域内（IND）到领域外（OOD）的知识转移，以及理解长指令。

🔬 方法详解

问题定义：本文解决的问题是大型语言模型在领域外意图检测中的表现及其局限性。现有方法主要依赖于微调判别模型，难以适应OOD检测的需求，导致性能不足。

核心思路：论文的核心思路是通过全面评估LLMs在OOD检测任务中的表现，分析其在零样本和少样本场景下的能力，并提出改进建议。这样的设计旨在揭示LLMs的潜力与不足，为后续研究提供指导。

技术框架：研究采用了多种实验设置对LLMs进行评估，包括零样本和少样本任务。主要模块包括数据集准备、模型评估、性能对比及分析实验。

关键创新：本文的关键创新在于系统性地评估LLMs在OOD意图检测中的表现，揭示了其在特定场景下的强大能力与局限性，尤其是在知识转移方面的挑战。

关键设计：在实验中，设置了不同的参数以测试LLMs的性能，包括输入格式、上下文长度等，同时使用了多种损失函数来优化模型表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在零样本和少样本任务中表现优异，尤其在特定设置下，其性能接近全资源微调模型。然而，整体上仍存在一定的性能差距，提示未来研究需关注知识转移和领域知识的注入。

🎯 应用场景

该研究的潜在应用领域包括智能客服、语音助手和其他任务导向对话系统。通过提升LLMs在领域外意图检测的能力，可以显著改善用户体验，增强系统的鲁棒性和灵活性。未来，随着技术的进步，LLMs可能在更广泛的应用场景中发挥重要作用。

📄 摘要（原文）

Out-of-domain (OOD) intent detection aims to examine whether the user's query falls outside the predefined domain of the system, which is crucial for the proper functioning of task-oriented dialogue (TOD) systems. Previous methods address it by fine-tuning discriminative models. Recently, some studies have been exploring the application of large language models (LLMs) represented by ChatGPT to various downstream tasks, but it is still unclear for their ability on OOD detection task.This paper conducts a comprehensive evaluation of LLMs under various experimental settings, and then outline the strengths and weaknesses of LLMs. We find that LLMs exhibit strong zero-shot and few-shot capabilities, but is still at a disadvantage compared to models fine-tuned with full resource. More deeply, through a series of additional analysis experiments, we discuss and summarize the challenges faced by LLMs and provide guidance for future work including injecting domain knowledge, strengthening knowledge transfer from IND(In-domain) to OOD, and understanding long instructions.