Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information

📄 arXiv: 2312.09541v1 📥 PDF

作者: Zhengyuan Liu, Nancy F. Chen

分类: cs.CL

发布日期: 2023-12-15

💡 一句话要点

提出基于网络剪枝的注意力头选择方法，融合对话共指信息以提升对话摘要质量。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 注意力头选择 网络剪枝 特征注入 对话摘要 共指消解

📋 核心要点

  1. Transformer模型在NLP中广泛应用，但直接注入结构化特征会增加参数量。
  2. 论文提出一种基于网络剪枝的注意力头选择方法，选择利用率低的头进行特征注入。
  3. 实验表明，该方法在对话摘要任务中有效，通过融合共指信息实现了性能提升。

📝 摘要（中文）

本文研究了注意力头选择和操作策略，从网络剪枝的角度进行特征注入，并以对话摘要为案例研究。首先，对基于Transformer的摘要器中的注意力头进行分层重要性排序。然后，通过广泛的分析选择未充分利用的头，并通过操纵选定的头来注入结构感知特征。实验结果表明，基于重要性的头选择对于特征注入是有效的，并且可以通过头部操作结合共指信息来改进对话摘要。

🔬 方法详解

问题定义：现有基于Transformer的对话摘要模型，虽然利用了预训练语言模型的知识，但显式地融合结构化特征（如共指信息）通常需要增加额外的神经组件和参数量，导致模型复杂度增加和训练成本上升。如何高效地将结构化信息融入到模型中，同时避免引入过多的额外参数，是本文要解决的问题。

核心思路：本文的核心思路是将特征注入问题转化为一个网络剪枝问题。通过评估Transformer模型中各个注意力头的重要性，选择那些利用率较低（即重要性较低）的头，然后通过操纵这些头来注入结构化特征。这种方法避免了直接添加新的神经组件，而是通过重用现有模型的参数来实现特征融合，从而降低了参数量和计算成本。

技术框架：该方法主要包含以下几个阶段：1) 注意力头重要性排序：使用某种指标（例如梯度或激活值）对Transformer模型中每一层的注意力头进行重要性排序。2) 未充分利用的头选择：基于排序结果，选择重要性较低的注意力头作为待操作的头。选择策略可以基于预定义的阈值或百分比。3) 特征注入：通过某种方式操纵选定的注意力头，将结构化特征（例如共指信息）注入到模型中。具体的操纵方式可以包括修改注意力权重、替换注意力头的输出等。4) 模型训练与评估：使用注入了结构化特征的模型进行训练，并在对话摘要任务上评估其性能。

关键创新：该方法最重要的创新点在于将特征注入问题与网络剪枝联系起来。传统的特征注入方法通常需要添加额外的神经组件，而本文通过选择和操纵现有的注意力头来实现特征融合，从而避免了引入额外的参数。这种方法不仅降低了模型的复杂度，还提高了特征融合的效率。

关键设计：论文的关键设计包括：1) 注意力头重要性评估指标：选择合适的指标来评估注意力头的重要性，例如基于梯度的指标或基于激活值的指标。2) 未充分利用的头选择策略：设计有效的策略来选择未充分利用的头，例如基于阈值的选择或基于百分比的选择。3) 特征注入方式：设计合适的特征注入方式，例如修改注意力权重或替换注意力头的输出。4) 损失函数：使用标准的摘要生成损失函数（例如交叉熵损失）进行模型训练。

📊 实验亮点

实验结果表明，基于重要性的头选择方法能够有效地进行特征注入，并且通过头部操作结合共指信息可以显著提升对话摘要的性能。具体的性能提升数据（例如ROUGE指标）在摘要中未给出，但强调了该方法在对话摘要任务上的有效性。

🎯 应用场景

该研究成果可应用于各种需要融合结构化信息的自然语言处理任务，例如篇章理解、信息抽取、知识图谱构建等。通过选择性地操纵注意力头，可以将外部知识或结构化信息有效地融入到预训练语言模型中，从而提升模型的性能和泛化能力。该方法在对话系统、智能客服等领域具有潜在的应用价值。

📄 摘要（原文）

The Transformer-based models with the multi-head self-attention mechanism are widely used in natural language processing, and provide state-of-the-art results. While the pre-trained language backbones are shown to implicitly capture certain linguistic knowledge, explicitly incorporating structure-aware features can bring about further improvement on the downstream tasks. However, such enhancement often requires additional neural components and increases training parameter size. In this work, we investigate the attention head selection and manipulation strategy for feature injection from a network pruning perspective, and conduct a case study on dialogue summarization. We first rank attention heads in a Transformer-based summarizer with layer-wise importance. We then select the underused heads through extensive analysis, and inject structure-aware features by manipulating the selected heads. Experimental results show that the importance-based head selection is effective for feature injection, and dialogue summarization can be improved by incorporating coreference information via head manipulation.