StablePT: Towards Stable Prompting for Few-shot Learning via Input Separation
作者: Xiaoming Liu, Chen Liu, Zhaohan Zhang, Chengzhengxu Li, Longtian Wang, Yu Lan, Chao Shen
分类: cs.CL
发布日期: 2024-04-30 (更新: 2024-10-03)
备注: EMNLP 2024 Findings
🔗 代码/项目: GITHUB
💡 一句话要点
提出StablePT以解决少样本学习中的提示不稳定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 少样本学习 提示优化 对比学习 模型鲁棒性 自然语言处理 机器学习 深度学习
📋 核心要点
- 现有的少样本学习方法在提示初始化上存在较大变异性，导致模型性能不稳定，限制了其在实际应用中的扩展性。
- 本文提出将硬提示和软提示分开处理，以减少提示初始化带来的噪声，并通过对比学习优化软提示，增强模型的类感知能力。
- 实验结果显示，StablePT在准确率上比现有方法提高6.97%，并且在多个数据集上表现出更高的稳定性和鲁棒性。
📝 摘要（中文）
大型语言模型在少样本学习中通过提示展现了有效性，但该方法依赖于提示初始化的质量，且在不同运行中表现出较大的变异性。为了解决这一问题，本文提出将硬提示和软提示视为独立输入，以减轻提示初始化带来的噪声。此外，利用对比学习优化软提示，以在训练过程中利用类感知信息，从而保持模型性能。实验结果表明，StablePT在准确率上比最先进的方法提高了6.97%，并平均降低了1.92的标准差，展现了在8个涵盖多种任务的数据集上的鲁棒性和稳定性。
🔬 方法详解
问题定义：本文旨在解决少样本学习中提示初始化导致的模型性能不稳定问题。现有方法对提示的依赖性使得其在不同运行中表现出较大的变异性，影响了实际应用效果。
核心思路：论文提出将硬提示和软提示视为独立输入，以减轻提示初始化带来的噪声。同时，通过对比学习优化软提示，利用类感知信息来提升模型的学习效果。
技术框架：整体架构包括两个主要模块：硬提示模块和软提示模块。硬提示用于提供基本的任务信息，而软提示则通过对比学习进行优化，以增强模型对不同类别的识别能力。
关键创新：最重要的创新在于将硬提示和软提示分开处理，这一设计有效降低了提示初始化的噪声影响，与现有方法相比，显著提升了模型的稳定性和鲁棒性。
关键设计：在参数设置上，软提示的优化采用了对比损失函数，以增强类间区分度。此外，网络结构设计上，软提示模块与硬提示模块并行处理，确保信息的有效传递与融合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，StablePT在多个数据集上相较于最先进的方法提高了6.97%的准确率，并且平均降低了1.92的标准差，显示出更高的稳定性和鲁棒性，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、图像识别和其他需要少样本学习的场景。通过提升模型在数据稀缺情况下的学习能力，StablePT能够在实际应用中更好地应对多样化的任务需求，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models have shown their ability to become effective few-shot learners with prompting, revolutionizing the paradigm of learning with data scarcity. However, this approach largely depends on the quality of prompt initialization, and always exhibits large variability among different runs. Such property makes prompt tuning highly unreliable and vulnerable to poorly constructed prompts, which limits its extension to more real-world applications. To tackle this issue, we propose to treat the hard prompt and soft prompt as separate inputs to mitigate noise brought by the prompt initialization. Furthermore, we optimize soft prompts with contrastive learning for utilizing class-aware information in the training process to maintain model performance. Experimental results demonstrate that \sysname outperforms state-of-the-art methods by 6.97% in accuracy and reduces the standard deviation by 1.92 on average. Furthermore, extensive experiments underscore its robustness and stability across 8 datasets covering various tasks. Codes are available at https://github.com/lccc0528/Stable/tree/main.