Building Efficient Universal Classifiers with Natural Language Inference

📄 arXiv: 2312.17543v2 📥 PDF

作者: Moritz Laurer, Wouter van Atteveldt, Andreu Casas, Kasper Welbers

分类: cs.CL, cs.AI

发布日期: 2023-12-29 (更新: 2024-03-22)

💡 一句话要点

利用自然语言推理构建高效的通用分类器

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言推理 通用分类器 零样本学习 少样本学习 BERT 文本分类 指令微调

📋 核心要点

  1. 现有方法依赖大型生成模型进行零样本/少样本分类，但效率较低，不适用于所有场景。
  2. 该论文利用自然语言推理（NLI）作为通用分类任务，并训练小型BERT类模型。
  3. 实验结果表明，该方法在零样本分类任务上取得了显著的性能提升，提升幅度达到9.4%。

📝 摘要（中文）

生成式大型语言模型（LLMs）由于文本生成的通用性，已成为少样本和零样本学习的主流选择。然而，许多用户只需要自动化分类任务，并不需要生成式LLMs的广泛能力。较小的BERT类模型也可以学习通用任务，使其无需微调（零样本分类）即可执行任何文本分类任务，或者仅用几个示例（少样本）即可学习新任务，同时比生成式LLMs更有效。本文（1）解释了如何将自然语言推理（NLI）用作通用分类任务，该任务遵循与生成式LLMs的指令微调相似的原则，（2）提供了构建通用分类器的分步指南，其中包含可重用的Jupyter notebook，以及（3）分享了由此产生的通用分类器，该分类器在33个数据集上进行了训练，包含389个不同的类别。截至2023年12月，我们共享的部分代码已被用于训练我们早期通过Hugging Face Hub下载超过5500万次的零样本分类器。我们新的分类器将零样本性能提高了9.4%。

🔬 方法详解

问题定义：论文旨在解决通用文本分类问题，即如何构建一个高效的模型，能够无需微调或仅需少量样本即可完成各种文本分类任务。现有方法，特别是依赖大型生成模型的方案，虽然在零样本和少样本学习方面表现出色，但计算成本高昂，效率低下，不适合资源受限的场景。

核心思路：论文的核心思路是将文本分类问题转化为自然语言推理（NLI）问题。通过将分类任务转化为判断前提（premise）和假设（hypothesis）之间关系的任务，可以使用预训练的NLI模型进行分类，而无需为每个新任务进行微调。这种方法借鉴了生成式LLM指令微调的思想，但应用于更小、更高效的BERT类模型。

技术框架：整体框架包括以下几个步骤：1）选择合适的预训练语言模型（BERT类）；2）构建NLI数据集，将各种文本分类数据集转换为NLI格式；3）在构建的NLI数据集上对模型进行训练；4）使用训练好的模型进行零样本或少样本分类。对于一个新的分类任务，将每个类别标签作为假设，输入模型，模型输出前提和每个假设之间的关系（例如，蕴含、中立、矛盾），选择概率最高的类别作为预测结果。

关键创新：该论文的关键创新在于将NLI任务作为通用分类任务，并证明了小型BERT类模型可以通过这种方式实现高效的零样本和少样本分类。与直接使用大型生成模型相比，该方法在保证性能的同时，显著降低了计算成本。

关键设计：论文的关键设计包括：1）使用33个不同的数据集，包含389个类别，构建了一个大规模的NLI训练数据集，保证了模型的泛化能力；2）提供了一个可重用的Jupyter notebook，方便其他研究者复现和使用该方法；3）共享了训练好的通用分类器，方便用户直接使用。

📊 实验亮点

该论文提出的通用分类器在零样本分类任务上取得了显著的性能提升，相比于之前的零样本分类器，性能提高了9.4%。该分类器基于BERT类模型，计算效率高，易于部署。此外，该论文还提供了详细的步骤指南和可重用的代码，方便其他研究者复现和使用。

🎯 应用场景

该研究成果可广泛应用于各种文本分类场景，例如情感分析、主题分类、垃圾邮件检测等。尤其适用于资源受限的环境，例如移动设备或嵌入式系统。该方法可以降低文本分类任务的部署成本，并加速相关应用的开发和推广。未来，该方法可以进一步扩展到其他自然语言处理任务，例如信息抽取和问答系统。

📄 摘要（原文）

Generative Large Language Models (LLMs) have become the mainstream choice for fewshot and zeroshot learning thanks to the universality of text generation. Many users, however, do not need the broad capabilities of generative LLMs when they only want to automate a classification task. Smaller BERT-like models can also learn universal tasks, which allow them to do any text classification task without requiring fine-tuning (zeroshot classification) or to learn new tasks with only a few examples (fewshot), while being significantly more efficient than generative LLMs. This paper (1) explains how Natural Language Inference (NLI) can be used as a universal classification task that follows similar principles as instruction fine-tuning of generative LLMs, (2) provides a step-by-step guide with reusable Jupyter notebooks for building a universal classifier, and (3) shares the resulting universal classifier that is trained on 33 datasets with 389 diverse classes. Parts of the code we share has been used to train our older zeroshot classifiers that have been downloaded more than 55 million times via the Hugging Face Hub as of December 2023. Our new classifier improves zeroshot performance by 9.4%.