Pushing The Limit of LLM Capacity for Text Classification

📄 arXiv: 2402.07470v2 📥 PDF

作者: Yazhou Zhang, Mengyao Wang, Chenyu Ren, Qiuchi Li, Prayag Tiwari, Benyou Wang, Jing Qin

分类: cs.CL

发布日期: 2024-02-12 (更新: 2024-02-16)

💡 一句话要点

提出RGPT框架以提升文本分类性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本分类 大型语言模型 自适应增强 基学习器 性能提升

📋 核心要点

  1. 现有文本分类方法在利用大型语言模型的优势时，面临挑战和不确定性，亟需新的解决方案。
  2. 本文提出RGPT框架，通过反复集成强基学习器，适应性调整训练样本分布，生成专门的文本分类LLM。
  3. 实验结果显示，RGPT在四个基准测试中平均超越8个最先进的PLMs和7个最先进的LLMs，且在某些任务上超过人类分类表现。

📝 摘要（中文）

文本分类的未来研究面临挑战，尤其是在大型语言模型（LLMs）表现出色的背景下。为此，本文提出RGPT，一个自适应增强框架，旨在通过反复集成强基学习器来生成专门的文本分类LLM。基学习器通过自适应调整训练样本分布并迭代微调LLMs构建，最终通过结合历史预测形成一个专门的文本分类LLM。实验证明，RGPT在四个基准测试中显著超越了8个最先进的PLMs和7个最先进的LLMs，平均提升1.36%。

🔬 方法详解

问题定义：本文旨在解决在大型语言模型（LLMs）背景下，文本分类研究面临的挑战与不确定性。现有方法未能充分利用LLMs的潜力，导致文本分类性能提升有限。

核心思路：RGPT框架的核心思想是通过自适应增强技术，反复集成多个强基学习器，构建一个专门的文本分类LLM。此方法通过调整训练样本分布和迭代微调来提升模型的表现。

技术框架：RGPT的整体架构包括基学习器的构建、样本分布的自适应调整、以及历史预测的集成。首先，基学习器通过微调LLMs生成，然后通过集成这些学习器的预测结果来形成最终的文本分类模型。

关键创新：RGPT的主要创新在于其自适应增强机制，通过反复集成历史预测，显著提升了文本分类的准确性。这一方法与传统的单一模型训练方法本质上不同，能够更好地利用多样化的学习信息。

关键设计：在设计上，RGPT采用了动态调整的样本分布策略，以确保基学习器在训练过程中能够适应不同的文本特征。此外，损失函数的选择和网络结构的优化也是提升模型性能的关键因素。通过这些设计，RGPT能够有效提升文本分类的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RGPT在四个基准测试中平均超越8个最先进的PLMs和7个最先进的LLMs，提升幅度达到1.36%。此外，RGPT在某些任务上甚至超过了人类分类的表现，显示出其卓越的分类能力。

🎯 应用场景

RGPT框架在文本分类领域具有广泛的应用潜力，尤其适用于社交媒体内容分析、情感分析和自动化客服等场景。其提升的分类性能能够帮助企业更好地理解用户需求和市场趋势，具有重要的实际价值和未来影响。

📄 摘要（原文）

The value of text classification's future research has encountered challenges and uncertainties, due to the extraordinary efficacy demonstrated by large language models (LLMs) across numerous downstream NLP tasks. In this era of open-ended language modeling, where task boundaries are gradually fading, an urgent question emerges: have we made significant advances in text classification under the full benefit of LLMs? To answer this question, we propose RGPT, an adaptive boosting framework tailored to produce a specialized text classification LLM by recurrently ensembling a pool of strong base learners. The base learners are constructed by adaptively adjusting the distribution of training samples and iteratively fine-tuning LLMs with them. Such base learners are then ensembled to be a specialized text classification LLM, by recurrently incorporating the historical predictions from the previous learners. Through a comprehensive empirical comparison, we show that RGPT significantly outperforms 8 SOTA PLMs and 7 SOTA LLMs on four benchmarks by 1.36% on average. Further evaluation experiments show a clear surpassing of RGPT over human classification.