Information-Theoretic Distillation for Reference-less Summarization

📄 arXiv: 2403.13780v2 📥 PDF

作者: Jaehun Jung, Ximing Lu, Liwei Jiang, Faeze Brahman, Peter West, Pang Wei Koh, Yejin Choi

分类: cs.CL, cs.AI

发布日期: 2024-03-20 (更新: 2024-08-19)

💡 一句话要点

提出信息论蒸馏框架以实现无参考摘要生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 信息论 摘要生成 蒸馏训练 小型模型 可控性 互信息 自动化

📋 核心要点

  1. 现有的自动摘要方法过于依赖大型语言模型，导致成本高且缺乏可控性。
  2. 论文提出InfoSumm框架，通过信息论目标进行摘要蒸馏，无需依赖大型模型或人工参考。
  3. 实验结果表明，所提模型在人工评估中优于领域内的监督模型，且在可控摘要方面胜过ChatGPT。

📝 摘要（中文）

当前自动摘要的主流方法依赖于大型语言模型（LLMs），如ChatGPT，或从中进行模仿学习。尽管这种依赖便捷，但是否存在小型模型能够通过替代学习方法实现竞争性结果仍是一个重要问题。本文提出了InfoSumm，一个基于信息论目标的摘要蒸馏框架，无需依赖LLM能力或人工参考。通过对摘要的显著性、真实性和简洁性进行新的定义，利用互信息的视角，本文从Pythia-2.8B模型出发，进行自我训练，优化理想摘要的信息中心度，最终得到一个仅有568M参数的紧凑型摘要模型，其性能与ChatGPT相当，且在可控摘要方面表现优越。

🔬 方法详解

问题定义：当前自动摘要方法普遍依赖大型语言模型，导致其在成本和可控性方面存在不足。本文旨在探索一种不依赖于LLM能力或人工参考的摘要生成方法。

核心思路：论文通过信息论的视角，提出了摘要的显著性、真实性和简洁性的新定义，利用互信息来优化摘要生成过程。

技术框架：整体框架包括三个主要阶段：首先，从Pythia-2.8B模型开始进行自我训练；其次，优化信息中心度的摘要生成；最后，从改进后的教师模型中蒸馏出紧凑型摘要模型。

关键创新：最重要的创新在于提出了一种基于信息论的摘要生成方法，显著区别于传统依赖于大型语言模型的方式。

关键设计：在模型设计中，采用了互信息作为损失函数，确保生成的摘要在显著性、真实性和简洁性方面达到理想水平，同时通过自我训练提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InfoSumm模型在人工评估中优于领域内的监督模型，并在可控摘要生成方面超越ChatGPT。该模型仅有568M参数，却在性能上与大型模型相当，展示了其高效性和竞争力。

🎯 应用场景

该研究的潜在应用领域包括新闻摘要、学术文献综述和社交媒体内容总结等。通过提供一种高效且可控的摘要生成方法，InfoSumm能够在信息过载的时代帮助用户快速获取关键信息，提升信息处理效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

The current winning recipe for automatic summarization is using proprietary large-scale language models (LLMs) such as ChatGPT as is, or imitation learning from them as teacher models. While increasingly ubiquitous dependence on such large-scale language models is convenient, there remains an important question of whether small-scale models could have achieved competitive results, if we were to seek an alternative learning method -- that allows for a more cost-efficient, controllable, yet powerful summarizer. We present InfoSumm, a novel framework to distill a powerful summarizer based on the information-theoretic objective for summarization, without relying on either the LLM's capability or human-written references. To achieve this, we first propose a novel formulation of the desiderata of summarization (saliency, faithfulness and brevity) through the lens of mutual information between the original document and the summary. Based on this formulation, we start off from Pythia-2.8B as the teacher model, which is not yet capable of summarization, then self-train the model to optimize for the information-centric measures of ideal summaries. Distilling from the improved teacher, we arrive at a compact but powerful summarizer with only 568M parameters that performs competitively against ChatGPT, without ever relying on ChatGPT's capabilities. Extensive analysis demonstrates that our approach outperforms in-domain supervised models in human evaluation, let alone state-of-the-art unsupervised methods, and wins over ChatGPT in controllable summarization.