CoT-Driven Framework for Short Text Classification: Enhancing and Transferring Capabilities from Large to Smaller Model

📄 arXiv: 2401.03158v2 📥 PDF

作者: Hui Wu, Yuanben Zhang, Zhonghe Han, Yingyan Hou, Lei Wang, Siye Liu, Qihang Gong, Yunping Ge

分类: cs.CL, cs.AI

发布日期: 2024-01-06 (更新: 2025-01-19)

备注: Knowledge-Based Systems

💡 一句话要点

提出SSE-CoT方法以提升短文本分类能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 短文本分类 链式思维 多任务学习 知识检索 文本重写 模型微调 语义理解

📋 核心要点

  1. 短文本分类面临理解语义和句法复杂性的挑战，传统模型效果有限。
  2. 提出SSE-CoT方法，将STC任务分为四个步骤，利用链式思维提升模型能力。
  3. 在六个短文本基准测试中，SSE-CoT实现了最先进的性能，尤其在Ohsumed和TagMyNews数据集上表现突出。

📝 摘要（中文）

短文本分类（STC）在处理当今数字平台上普遍存在的简短但重要内容时至关重要。然而，传统的预训练语言模型在理解语义和句法复杂性方面存在困难。尽管图卷积网络通过整合外部知识库来提升性能，但这些方法受限于知识的质量和范围。本文首次利用链式思维（CoT）来增强大型语言模型（LLMs）在STC任务中的能力，提出了句法和语义增强链式思维（SSE-CoT）方法，将STC任务分解为四个步骤：概念识别、常识知识检索、文本重写和分类。此外，针对金融和医疗等领域的资源限制，本文还引入了基于CoT的多任务学习框架（CDMT），以将这些能力扩展到小型模型。实验结果表明，SSE-CoT在所有数据集上均取得了显著的性能提升，尤其是在Ohsumed和TagMyNews数据集上表现优异。

🔬 方法详解

问题定义：本文旨在解决短文本分类中传统预训练语言模型在语义和句法理解上的不足，尤其是在复杂推理任务中的表现不佳。

核心思路：通过引入链式思维（CoT），将STC任务分解为多个步骤，利用常识知识和文本重写来增强模型的理解能力。

技术框架：整体框架包括四个主要模块：概念识别、常识知识检索、文本重写和最终分类。首先识别文本中的关键概念，然后检索相关的常识知识，接着对文本进行重写，最后进行分类。

关键创新：SSE-CoT方法的创新在于将复杂的STC任务系统化，通过分步骤处理来提升模型的推理能力，与现有方法相比，提供了更为细致的处理流程。

关键设计：在模型训练中，采用了多任务学习策略，通过从大型模型中提取推理依据，并对小型模型进行微调，以优化其性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSE-CoT在六个短文本基准测试中均取得了显著提升，尤其是在Ohsumed和TagMyNews数据集上，性能提升幅度达到XX%（具体数据未知），实现了最先进的分类效果。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗等对短文本分类有高需求的行业。通过提升小型模型的分类能力，可以有效处理大量短文本数据，帮助企业和机构更好地理解和利用信息，提升决策效率。

📄 摘要（原文）

Short Text Classification (STC) is crucial for processing and understanding the brief but substantial content prevalent on contemporary digital platforms. The STC encounters difficulties in grasping the semantic and syntactic intricacies, an issue that is apparent in traditional pre-trained language models. Although Graph Convolutional Networks enhance performance by integrating external knowledge bases, these methods are limited by the quality and extent of the knowledge applied. Recently, the emergence of Large Language Models (LLMs) and Chain-of-Thought (CoT) has significantly improved the performance of complex reasoning tasks. However, some studies have highlighted the limitations of their application in fundamental NLP tasks. Consequently, this study first employs CoT to investigate and enhance the capabilities of LLMs in STC tasks. We propose the Syntactic and Semantic Enrichment CoT (SSE-CoT) method, effectively decomposing the STC tasks into four distinct steps: (i) essential concept identification, (ii) common-sense knowledge retrieval, (iii) text rewriting, and (iv) classification. Furthermore, recognizing resource constraints in sectors like finance and healthcare, we then introduce the CoT-Driven Multi-Task Learning (CDMT) framework to extend these capabilities to smaller models. This framework begins by extracting rationales from LLMs and subsequently fine-tunes smaller models to optimize their performance. Extensive experimentation across six short-text benchmarks validated the efficacy of the proposed methods. In particular, SSE-CoT achieved state-of-the-art performance with substantial improvements on all datasets, particularly on the Ohsumed and TagMyNews datasets.