Comparing Specialised Small and General Large Language Models on Text Classification: 100 Labelled Samples to Achieve Break-Even Performance
作者: Branislav Pecher, Ivan Srba, Maria Bielikova
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-02-20 (更新: 2026-01-22)
备注: Accepted to the EMNLP 2025 conference
💡 一句话要点
提出小型专用模型在有限标注样本下超越大型通用模型的方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自然语言处理 文本分类 模型微调 样本需求 性能方差 专用模型 通用模型
📋 核心要点
- 现有方法在有限标注数据下，通用大型模型与小型专用模型的性能差异尚不明确，缺乏系统性研究。
- 论文通过分析微调、指令调优、提示和上下文学习等方法，提出了专用小型模型在特定任务中超越通用模型的样本需求量。
- 实验结果表明，专用模型在多数情况下只需约100个样本即可达到或超过通用模型的性能，且性能方差显著影响样本需求。
📝 摘要（中文）
在处理有限标注数据的自然语言处理任务时，研究者通常选择不进行更新的通用大型语言模型或使用少量标注样本来微调专用小型模型。本文探讨了专用小型模型在何种情况下能够超越通用大型模型，并考虑了性能方差的影响。通过观察8种语言模型在8个不同特征的文本分类任务中的表现，发现专用模型通常只需约100个样本即可与通用模型持平或更优。同时，所需标注样本数量与数据集或任务特征密切相关，二分类数据集的微调需要显著更多样本。考虑到性能方差，所需标注数量平均增加100-200%。
🔬 方法详解
问题定义：本文旨在解决在有限标注样本下，专用小型模型与通用大型模型之间的性能比较问题。现有方法未能明确在何种情况下小型模型能够超越大型模型，且缺乏对性能方差的考虑。
核心思路：通过对8种语言模型在8个文本分类任务中的表现进行系统分析，确定专用小型模型在不同任务下所需的标注样本数量，以实现与通用模型的性能持平或超越。
技术框架：研究采用了微调、指令调优、提示和上下文学习等多种技术，构建了一个比较框架，评估不同模型在特定任务下的表现。主要模块包括样本选择、模型训练和性能评估。
关键创新：论文的创新在于系统性地识别了专用小型模型与通用大型模型之间的性能平衡点，并量化了所需样本数量的变化，尤其是在考虑性能方差后。
关键设计：在实验中，针对不同任务特征，调整了模型的微调策略和样本选择标准，特别是在二分类数据集上，显著增加了所需样本数量以确保模型性能。实验还探讨了4位量化对模型性能的影响，发现其影响微乎其微。
🖼️ 关键图片
📊 实验亮点
实验结果显示，专用小型模型在大多数情况下仅需约100个标注样本即可达到与通用大型模型相当的性能。考虑性能方差后，所需样本数量平均增加100-200%。此外，4位量化对模型性能的影响被证实为微不足道，挑战了大型模型必然优于小型模型的传统观念。
🎯 应用场景
该研究为自然语言处理领域提供了重要的理论支持，尤其是在数据稀缺的情况下，帮助研究者选择合适的模型和样本数量。其结果可广泛应用于文本分类、情感分析等任务，提升模型的训练效率和效果，具有重要的实际价值和未来影响。
📄 摘要（原文）
When solving NLP tasks with limited labelled data, researchers typically either use a general large language model without further update, or use a small number of labelled samples to tune a specialised smaller model. In this work, we answer an important question -- how many labelled samples are required for the specialised small models to outperform general large models, while taking the performance variance into consideration. By observing the behaviour of fine-tuning, instruction-tuning, prompting and in-context learning on 8 language models, we identify such performance break-even points across 8 representative text classification tasks of varying characteristics. We show that the specialised models often need only few samples (on average $100$) to be on par or better than the general ones. At the same time, the number of required labels strongly depends on the dataset or task characteristics, with fine-tuning on binary datasets requiring significantly more samples. When performance variance is taken into consideration, the number of required labels increases on average by $100 - 200\%$. Finally, larger models do not consistently lead to better performance and lower variance, with 4-bit quantisation having negligible impact.