New Intent Discovery with Attracting and Dispersing Prototype

📄 arXiv: 2403.16913v1 📥 PDF

作者: Shun Zhang, Jian Yang, Jiaqi Bai, Chaoran Yan, Tongliang Li, Zhao Yan, Zhoujun Li

分类: cs.CL

发布日期: 2024-03-25

备注: COLING 2024

💡 一句话要点

提出RAP框架以解决新意图发现问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新意图发现 聚类优化 原型学习 自然语言处理 用户意图识别 深度学习

📋 核心要点

  1. 现有方法在新意图发现中未能有效控制类内和类间距离，导致聚类表示不足。
  2. 本文提出稳健自适应原型学习（RAP）框架，通过吸引和分散机制优化聚类表示。
  3. 在三个基准数据集上，RAP方法相比现有技术显著提升，平均提高5.5%。

📝 摘要（中文）

新意图发现（NID）旨在利用有限的标注数据和大规模的未标注数据来识别已知和推断新意图类别。现有方法在捕捉聚类友好的表示方面存在不足，无法有效控制和协调类内与类间距离。为此，本文提出了一种稳健自适应原型学习（RAP）框架，旨在为已知和新意图类别提供全球独特的决策边界。具体而言，设计了稳健原型吸引学习（RPAL）方法，使实例向其对应原型聚集，从而实现更大的类内紧凑性。同时，提出了自适应原型分散学习（APDL）方法，从原型到原型的角度最大化类间距离。实验结果表明，RAP在三个基准数据集（CLINC、BANKING和StackOverflow）上显著优于当前最先进的方法，平均提升5.5%。

🔬 方法详解

问题定义：本文解决新意图发现（NID）问题，现有方法在捕捉聚类友好的表示方面存在不足，无法有效控制类内与类间距离，导致聚类效果不佳。

核心思路：提出稳健自适应原型学习（RAP）框架，通过设计稳健原型吸引学习（RPAL）和自适应原型分散学习（APDL）方法，分别增强类内紧凑性和类间分离性，从而优化聚类效果。

技术框架：RAP框架包含两个主要模块：RPAL用于增强类内聚集，APDL用于增强类间分离。整体流程包括实例特征提取、原型生成、聚类优化等步骤。

关键创新：RPAL和APDL的结合是本文的核心创新，前者通过吸引机制增强类内紧凑性，后者通过分散机制最大化类间距离，与现有方法相比，提供了更有效的聚类表示。

关键设计：在RPAL中，设计了损失函数以量化类内距离；在APDL中，采用原型间距离最大化策略。网络结构上，使用了深度学习模型来提取实例特征，并通过迭代优化实现聚类目标。

📊 实验亮点

实验结果表明，RAP框架在CLINC、BANKING和StackOverflow三个基准数据集上表现优异，平均提升5.5%，显著超越现有最先进的方法，包括大型语言模型，展示了其强大的聚类能力。

🎯 应用场景

该研究在自然语言处理、用户意图识别和智能客服等领域具有广泛的应用潜力。通过有效识别新意图，能够提升系统的智能化水平和用户体验，未来可在多种场景中推广应用。

📄 摘要（原文）

New Intent Discovery (NID) aims to recognize known and infer new intent categories with the help of limited labeled and large-scale unlabeled data. The task is addressed as a feature-clustering problem and recent studies augment instance representation. However, existing methods fail to capture cluster-friendly representations, since they show less capability to effectively control and coordinate within-cluster and between-cluster distances. Tailored to the NID problem, we propose a Robust and Adaptive Prototypical learning (RAP) framework for globally distinct decision boundaries for both known and new intent categories. Specifically, a robust prototypical attracting learning (RPAL) method is designed to compel instances to gravitate toward their corresponding prototype, achieving greater within-cluster compactness. To attain larger between-cluster separation, another adaptive prototypical dispersing learning (APDL) method is devised to maximize the between-cluster distance from the prototype-to-prototype perspective. Experimental results evaluated on three challenging benchmarks (CLINC, BANKING, and StackOverflow) of our method with better cluster-friendly representation demonstrate that RAP brings in substantial improvements over the current state-of-the-art methods (even large language model) by a large margin (average +5.5% improvement).