RoNID: New Intent Discovery with Generated-Reliable Labels and Cluster-friendly Representations

📄 arXiv: 2404.08977v2 📥 PDF

作者: Shun Zhang, Chaoran Yan, Jian Yang, Changyu Ren, Jiaqi Bai, Tongliang Li, Zhoujun Li

分类: cs.CL, cs.LG

发布日期: 2024-04-13 (更新: 2024-04-18)

备注: DASFAA 2024

💡 一句话要点

提出RoNID框架以解决新意图发现中的伪标签不准确问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 新意图发现 伪标签生成 聚类学习 对比学习 开放世界学习

📋 核心要点

  1. 现有新意图发现方法存在伪标签不准确和表示学习效果差的问题，导致模型性能下降。
  2. 本文提出RoNID框架，通过构建可靠的伪标签和聚类友好的表示来解决上述问题，采用EM风格的迭代优化。
  3. 实验结果显示，RoNID在多个基准测试中相较于最先进的方法提升了1到4个百分点，验证了其有效性。

📝 摘要（中文）

新意图发现（NID）旨在识别已知意图并合理推断开放世界场景中的新意图组。然而，现有方法面临伪标签不准确和表示学习不足的问题，导致整体模型性能下降。为了解决这些挑战，本文提出了一种优化的鲁棒新意图发现框架（RoNID），通过EM风格的方法，专注于构建可靠的伪标签和获得适合聚类的区分性表示。RoNID包含两个主要模块：可靠伪标签生成模块和聚类友好表示学习模块。实验结果表明，RoNID在多个基准测试上相较于现有最先进的方法有显著提升，准确度提高了1到4个百分点。

🔬 方法详解

问题定义：本文解决的是新意图发现中的伪标签不准确和表示学习不足的问题。现有方法在生成伪标签时容易受到噪声影响，导致模型性能下降。

核心思路：RoNID框架通过构建可靠的伪标签和聚类友好的表示来打破负反馈循环，采用EM风格的迭代优化方法，确保每一步都能提升模型的表现。

技术框架：RoNID包含两个主要模块：可靠伪标签生成模块和聚类友好表示学习模块。在E步中，通过解决最优传输问题生成高质量的伪标签；在M步中，结合聚类内和聚类间的对比学习来优化表示。

关键创新：RoNID的创新在于通过最优传输问题生成可靠的伪标签，并在表示学习中引入聚类内外对比学习，显著提高了聚类的紧凑性和分离性。

关键设计：在伪标签生成模块中，采用最优传输算法来确保标签的可靠性；在表示学习模块中，设计了结合聚类内外对比的损失函数，以增强特征的区分性。整体流程通过迭代优化，逐步提升模型的性能。

📊 实验亮点

在多个基准测试中，RoNID相较于现有最先进的方法实现了1到4个百分点的显著提升，验证了其在新意图发现任务中的有效性和鲁棒性。这一结果表明，RoNID在处理伪标签和表示学习方面的创新设计具有重要的实用价值。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的意图识别、智能客服系统以及人机交互等场景。通过提高新意图的发现能力，RoNID能够帮助系统更好地理解用户需求，从而提升用户体验和系统的智能化水平。未来，该方法有望扩展到更多开放世界的学习任务中，推动相关领域的发展。

📄 摘要（原文）

New Intent Discovery (NID) strives to identify known and reasonably deduce novel intent groups in the open-world scenario. But current methods face issues with inaccurate pseudo-labels and poor representation learning, creating a negative feedback loop that degrades overall model performance, including accuracy and the adjusted rand index. To address the aforementioned challenges, we propose a Robust New Intent Discovery (RoNID) framework optimized by an EM-style method, which focuses on constructing reliable pseudo-labels and obtaining cluster-friendly discriminative representations. RoNID comprises two main modules: reliable pseudo-label generation module and cluster-friendly representation learning module. Specifically, the pseudo-label generation module assigns reliable synthetic labels by solving an optimal transport problem in the E-step, which effectively provides high-quality supervised signals for the input of the cluster-friendly representation learning module. To learn cluster-friendly representation with strong intra-cluster compactness and large inter-cluster separation, the representation learning module combines intra-cluster and inter-cluster contrastive learning in the M-step to feed more discriminative features into the generation module. RoNID can be performed iteratively to ultimately yield a robust model with reliable pseudo-labels and cluster-friendly representations. Experimental results on multiple benchmarks demonstrate our method brings substantial improvements over previous state-of-the-art methods by a large margin of +1~+4 points.