Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization
作者: George Chrysostomou, Zhixue Zhao, Miles Williams, Nikolaos Aletras
分类: cs.CL, cs.AI
发布日期: 2023-11-15 (更新: 2024-10-24)
备注: TACL 2024 (Presented at EMNLP 2024)
期刊: Transactions of the Association for Computational Linguistics (2024) 12: 1163-1181
DOI: 10.1162/tacl_a_00695
💡 一句话要点
研究修剪大语言模型中的幻觉现象以提升摘要生成效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 抽象摘要 幻觉现象 模型修剪 信息检索 自然语言处理 生成模型
📋 核心要点
- 现有的生成性大语言模型在抽象摘要中表现优异，但其庞大的体积和幻觉现象仍然是主要挑战。
- 本文通过修剪技术减少模型规模，探索修剪对幻觉现象的影响，提出了新的实证研究方法。
- 实验结果显示，修剪后的模型在幻觉现象上表现更佳，生成的摘要与源文档的词汇重叠度更高。
📝 摘要（中文）
尽管生成性大语言模型在抽象摘要方面表现出色，但它们面临着模型体积庞大和幻觉现象的挑战。幻觉现象会影响模型的可靠性和安全性。修剪技术通过去除冗余权重来减小模型规模，从而实现更高效的稀疏推理。本文对五个摘要数据集、两种最先进的修剪方法和五个经过指令调优的大语言模型进行了广泛的实证研究。令人惊讶的是，修剪后的模型在幻觉现象方面的表现优于原始模型。我们的分析表明，修剪模型在生成摘要时更依赖于源文档，从而导致生成的摘要与源文档之间的词汇重叠度更高，这可能是幻觉风险降低的原因。
🔬 方法详解
问题定义：本文旨在探讨修剪对大语言模型在抽象摘要生成中幻觉现象的影响。现有方法在模型体积和可靠性方面存在不足，幻觉现象影响了生成内容的可信度。
核心思路：通过修剪技术减少模型的冗余权重，提升模型的推理效率，同时研究修剪对幻觉现象的影响，提出修剪模型可能更依赖源文档的假设。
技术框架：研究采用了五个摘要数据集和两种修剪方法，结合五个经过指令调优的语言模型进行实证分析，评估修剪前后的幻觉现象变化。
关键创新：本研究的创新点在于首次系统性地分析了修剪对幻觉现象的影响，发现修剪模型在生成摘要时更依赖源文档，从而降低了幻觉风险。
关键设计：在实验中，采用了不同的修剪比例和方法，评估了模型在摘要生成任务中的表现，重点关注生成摘要与源文档之间的词汇重叠度。通过对比分析，验证了修剪模型的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，修剪后的模型在幻觉现象上显著优于原始模型，生成的摘要与源文档的词汇重叠度提高，降低了幻觉风险。这一发现为大语言模型的实际应用提供了新的思路和方法。
🎯 应用场景
该研究的潜在应用领域包括新闻摘要生成、文档自动化处理和信息检索等。通过降低幻觉现象，修剪后的模型可以在资源有限的情况下提供更可靠的摘要生成服务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Despite the remarkable performance of generative large language models (LLMs) on abstractive summarization, they face two significant challenges: their considerable size and tendency to hallucinate. Hallucinations are concerning because they erode reliability and raise safety issues. Pruning is a technique that reduces model size by removing redundant weights, enabling more efficient sparse inference. Pruned models yield downstream task performance comparable to the original, making them ideal alternatives when operating on a limited budget. However, the effect that pruning has upon hallucinations in abstractive summarization with LLMs has yet to be explored. In this paper, we provide an extensive empirical study across five summarization datasets, two state-of-the-art pruning methods, and five instruction-tuned LLMs. Surprisingly, we find that hallucinations are less prevalent from pruned LLMs than the original models. Our analysis suggests that pruned models tend to depend more on the source document for summary generation. This leads to a higher lexical overlap between the generated summary and the source document, which could be a reason for the reduction in hallucination risk.