Baichuan2-Sum: Instruction Finetune Baichuan2-7B Model for Dialogue Summarization

📄 arXiv: 2401.15496v3 📥 PDF

作者: Jianfei Xiao, Yancan Chen, Yimin Ou, Hanyi Yu, Kai Shu, Yiyong Xiao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-27 (更新: 2024-04-04)

💡 一句话要点

提出Baichuan2-Sum以解决对话摘要生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话摘要 大型语言模型 指令微调 角色导向 NEFTune 自然语言处理 机器学习

📋 核心要点

  1. 现有对话摘要方法多集中于小型模型，难以充分利用大型语言模型的潜力。
  2. 本文提出Baichuan2-Sum，通过为不同角色设置指令，增强模型对对话的理解和摘要能力。
  3. 实验结果显示，Baichuan2-Sum在CSDS和SAMSUM数据集上取得了新的最先进成绩，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）如Llama、Baichuan和Bloom在多种自然语言任务中展现出卓越的指令微调能力。然而，在对话摘要任务中，现有的最先进方法主要集中在小型模型（如Bart和Bert）上。本文提出了一种指令微调模型：Baichuan2-Sum，专注于角色导向的对话摘要。通过为不同角色设置不同的指令，模型能够从对话交互中学习并输出预期的摘要。此外，采用NEFTune技术在训练过程中添加适当的噪声以提升结果。实验表明，该模型在两个公共对话摘要数据集CSDS和SAMSUM上达到了新的最先进结果。我们发布了模型及相关代码，以促进未来对话摘要任务的研究。

🔬 方法详解

问题定义：本文旨在解决对话摘要生成中的角色导向问题。现有方法多依赖小型模型，无法充分利用大型语言模型的优势，导致摘要质量不高。

核心思路：提出Baichuan2-Sum模型，通过为不同对话角色设置特定指令，使模型能够更好地理解对话上下文，从而生成更符合角色需求的摘要。

技术框架：模型整体架构包括输入层、指令处理模块、对话理解模块和摘要生成模块。通过这些模块的协同工作，模型能够有效提取对话信息并生成摘要。

关键创新：最重要的创新在于引入了角色导向的指令微调机制，使得模型能够针对不同角色生成个性化的摘要。这一设计与传统方法的通用性摘要生成形成鲜明对比。

关键设计：在训练过程中，采用NEFTune技术添加适当噪声，增强模型的鲁棒性。此外，模型的损失函数和优化策略经过精心设计，以确保摘要质量的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Baichuan2-Sum在CSDS和SAMSUM数据集上分别达到了新的最先进成绩，性能提升幅度超过了现有最佳模型，验证了其在对话摘要生成中的有效性和优越性。

🎯 应用场景

该研究在对话系统、客服机器人、会议记录等领域具有广泛的应用潜力。通过生成高质量的角色导向摘要，可以提高信息传递的效率和准确性，进而提升用户体验。未来，该模型可进一步扩展至多语言和多场景的对话摘要任务。

📄 摘要（原文）

Large language models (LLMs) like Llama, Baichuan and Bloom models show remarkable ability with instruction fine-tuning in many natural language tasks. Nevertheless, for the dialogue summarization task, which aims to generate summaries for different roles in dialogue, most of the state-of-the-art methods conduct on small models (e.g Bart and Bert). Existing methods try to add task specified optimization on small models like adding global-local centrality score to models. In this paper, we propose an instruction fine-tuning model: Baichuan2-Sum, for role-oriented diaglouge summarization. By setting different instructions for different roles, the model can learn from the dialogue interactions and output the expected summaries. Furthermore, we applied NEFTune technique to add suitable noise during training to improve the results. The experiments demonstrate that the proposed model achieves the new state-of-the-art results on two public dialogue summarization datasets: CSDS and SAMSUM. We release our model and related codes to facilitate future studies on dialogue summarization task.