TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale

📄 arXiv: 2403.10351v1 📥 PDF

作者: Pengcheng Jiang, Cao Xiao, Zifeng Wang, Parminder Bhatia, Jimeng Sun, Jiawei Han

分类: cs.CL

发布日期: 2024-03-15

备注: NAACL'24

💡 一句话要点

提出TriSum框架以解决大语言模型在文本摘要中的应用限制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本摘要 大语言模型 模型蒸馏 课程学习 自然语言处理 可解释性 资源受限环境

📋 核心要点

  1. 现有的大语言模型在文本摘要任务中面临计算资源需求高和隐私保护不足的挑战，限制了其广泛应用。
  2. TriSum框架通过蒸馏大语言模型的摘要能力到本地模型，采用课程学习策略逐步训练，从而提升模型性能。
  3. 在多个数据集上，TriSum显著提高了本地模型的表现，分别在CNN/DailyMail、XSum和ClinicalTrial上提升了4.5%、8.5%和7.4%。

📝 摘要（中文）

大语言模型（LLMs）的出现显著推动了自然语言处理任务的发展，尤其是在文本摘要方面。然而，由于其庞大的体积和计算需求，以及数据传输中的隐私问题，限制了其在资源受限和隐私敏感环境中的应用。为此，本文提出了TriSum框架，通过蒸馏LLMs的文本摘要能力到一个紧凑的本地模型。首先，LLMs提取一组方面三元组的推理和摘要，并通过双评分方法进行质量优化。接着，使用课程学习策略训练一个较小的本地模型，从简单任务逐步过渡到复杂任务。实验结果表明，该方法在多个基准测试（CNN/DailyMail、XSum和ClinicalTrial）上均优于基线，提升幅度分别为4.5%、8.5%和7.4%。此外，该方法还通过提供摘要推理的见解，提高了可解释性。

🔬 方法详解

问题定义：本文旨在解决大语言模型在文本摘要任务中由于计算资源和隐私问题导致的应用限制。现有方法在资源受限环境中难以有效部署，影响了其实际应用。

核心思路：TriSum框架通过蒸馏大语言模型的摘要能力，训练一个紧凑的本地模型。采用课程学习策略，从简单任务逐步过渡到复杂任务，以提高模型的学习效率和性能。

技术框架：TriSum的整体架构包括两个主要阶段：首先，利用大语言模型提取方面三元组的推理和摘要；其次，使用双评分方法优化摘要质量，并训练本地模型。

关键创新：TriSum的核心创新在于将大语言模型的推理能力有效蒸馏到本地模型中，同时通过课程学习策略提升了模型的训练效率和性能。这与传统方法不同，后者往往直接使用大语言模型进行任务。

关键设计：在模型训练中，采用了双评分机制来评估摘要质量，并设计了适应性课程学习策略，以便在训练过程中逐步增加任务的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TriSum在多个基准测试中表现优异，分别在CNN/DailyMail、XSum和ClinicalTrial数据集上提升了4.5%、8.5%和7.4%的性能，相较于现有基线方法，显示出显著的优势。此外，该方法还提高了模型的可解释性，为摘要推理提供了深入见解。

🎯 应用场景

TriSum框架具有广泛的应用潜力，特别是在资源受限的设备上，如移动端和边缘计算环境中。它能够在保证摘要质量的同时，降低计算资源的需求，适用于医疗、法律和新闻等领域的文本摘要任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

The advent of large language models (LLMs) has significantly advanced natural language processing tasks like text summarization. However, their large size and computational demands, coupled with privacy concerns in data transmission, limit their use in resource-constrained and privacy-centric settings. To overcome this, we introduce TriSum, a framework for distilling LLMs' text summarization abilities into a compact, local model. Initially, LLMs extract a set of aspect-triple rationales and summaries, which are refined using a dual-scoring method for quality. Next, a smaller local model is trained with these tasks, employing a curriculum learning strategy that evolves from simple to complex tasks. Our method enhances local model performance on various benchmarks (CNN/DailyMail, XSum, and ClinicalTrial), outperforming baselines by 4.5%, 8.5%, and 7.4%, respectively. It also improves interpretability by providing insights into the summarization rationale.