A Soft Contrastive Learning-based Prompt Model for Few-shot Sentiment Analysis

📄 arXiv: 2312.10479v1 📥 PDF

作者: Jingyi Zhou, Jie Zhou, Jiabao Zhao, Siyin Wang, Haijun Shan, Gui Tao, Qi Zhang, Xuanjing Huang

分类: cs.CL

发布日期: 2023-12-16

备注: Accepted by ICASSP

💡 一句话要点

提出基于软对比学习的Prompt模型SCP，解决少样本情感分析中语义距离微妙的问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本学习 情感分析 Prompt学习 对比学习 思维链 文本分类

📋 核心要点

  1. 少样本情感分类面临类别间语义距离微妙的挑战，例如同极性情感词汇语义相近，异极性情感词汇语义差异大。
  2. 论文提出SCP模型，利用情感感知的思维链Prompt引导模型推理，并采用软对比学习考虑标签相关性。
  3. 实验结果表明，SCP模型在多个情感分析数据集上优于现有最佳基线模型，例如ChatGPT。

📝 摘要（中文）

本文针对少样本情感分析任务中，由于缺乏标注数据以及情感类别间语义距离微妙（如同极性情感标签间距离近，异极性情感标签间距离远）带来的挑战，提出了一种基于软对比学习的Prompt模型（SCP）。该模型首先设计了一个情感感知的思维链Prompt模块，引导模型通过一系列中间推理步骤，从粗粒度到细粒度地预测情感。然后，提出了一种软对比学习算法，考虑了标签之间的相关性。在多个情感分析数据集上进行的一系列实验表明，与SOTA基线模型（如ChatGPT）相比，SCP具有显著优势。

🔬 方法详解

问题定义：论文旨在解决少样本情感分析任务中，由于标注数据稀缺以及情感类别间语义距离微妙而导致的分类困难问题。现有方法难以有效区分语义相近的情感类别，例如“喜爱”和“快乐”。

核心思路：论文的核心思路是利用Prompt学习和对比学习，结合情感知识，使模型能够更好地理解和区分不同的情感类别。通过Prompt引导模型进行推理，并利用软对比学习来学习标签之间的关系，从而提高分类性能。

技术框架：SCP模型主要包含两个模块：情感感知的思维链Prompt模块和软对比学习模块。情感感知的思维链Prompt模块通过一系列中间推理步骤，引导模型从粗粒度到细粒度地预测情感。软对比学习模块则利用标签之间的相关性，通过对比学习的方式来优化模型。整体流程是：输入文本，通过Prompt模块生成中间推理步骤，然后利用软对比学习模块进行训练，最终输出情感分类结果。

关键创新：论文的关键创新在于提出了情感感知的思维链Prompt模块和软对比学习算法。情感感知的思维链Prompt模块能够引导模型进行更深入的推理，从而更好地理解情感。软对比学习算法则能够考虑标签之间的相关性，从而提高分类性能。

关键设计：情感感知的思维链Prompt模块的设计包括Prompt模板的选择和中间推理步骤的设计。软对比学习算法的关键在于如何定义标签之间的相似度，以及如何利用这些相似度来构建对比学习的损失函数。具体而言，论文可能使用了余弦相似度或高斯核函数来衡量标签之间的相似度，并设计了基于InfoNCE的对比学习损失函数。

📊 实验亮点

实验结果表明，SCP模型在多个情感分析数据集上取得了显著的性能提升，优于现有的SOTA基线模型，包括ChatGPT。具体的性能数据需要在论文中查找，但摘要中明确指出SCP模型具有显著优势，表明其在少样本情感分析任务中具有竞争力。

🎯 应用场景

该研究成果可应用于各种需要情感分析的场景，例如舆情监控、产品评论分析、智能客服等。通过少样本学习，该模型可以快速适应新的情感分类任务，降低标注成本，具有广泛的应用前景和实际价值。未来可以进一步探索其在跨语言情感分析和细粒度情感分析中的应用。

📄 摘要（原文）

Few-shot text classification has attracted great interest in both academia and industry due to the lack of labeled data in many fields. Different from general text classification (e.g., topic classification), few-shot sentiment classification is more challenging because the semantic distances among the classes are more subtle. For instance, the semantic distances between the sentiment labels in a positive or negative polarity (e.g., love" andjoy", remorse" andsadness") are close, while the distances are large for the sentiment labels in two opposite polarities (e.g., love" andsadness"). To address this problem, we propose a Soft Contrastive learning-based Prompt (\texttt{SCP}) model for few-shot sentiment analysis. First, we design a sentiment-aware chain of thought prompt module to guide the model to predict the sentiment from coarse grain to fine grain via a series of intermediate reasoning steps. Then, we propose a soft contrastive learning algorithm to take the correlation of the labels into account. A series of experiments on several sentiment analysis datasets show the great advantages of \texttt{SCP} by comparing it with SOTA baselines (e.g., ChatGPT).