Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

📄 arXiv: 2606.10716 📥 PDF

作者: Roberto Martínez-Cruz, Alvaro J. López-López, José Portela

分类: cs.CL, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出注意力扩展机制以解决长文档关键短语提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关键短语提取 长文档处理 预训练语言模型 注意力机制 信息检索 上下文增强 自然语言处理

📋 核心要点

  1. 长文档的关键短语提取面临挑战，现有方法无法有效捕捉分散在不同部分的关键信息。
  2. 提出的注意力扩展机制通过增强PLM的标记表示，利用周围上下文信息来扩展有效的上下文范围。
  3. 实验结果显示，注意力扩展在五个评估设置中均提升了KPE性能，超越了现有模型，F1分数显著提高。

📝 摘要（中文）

预训练语言模型在关键短语提取中表现出色，但长文档的关键短语提取仍然面临挑战，因为重要的证据可能分散在文档的不同部分，无法在大多数模型的有限上下文窗口中共同捕捉。尽管长上下文的大型语言模型能够处理更广泛的文本上下文，但其计算成本限制了其在高效和高吞吐量关键短语提取中的实用性。为了解决这一限制，本文提出了一种注意力扩展机制，通过使用预训练的词嵌入增强PLM的标记表示，从而扩展PLM基础的关键短语提取模型的有效上下文范围。实验结果表明，注意力扩展在所有评估设置中均能一致提升关键短语提取性能，超越了现有的最先进模型，并在F1分数上取得显著改善。

🔬 方法详解

问题定义：长文档的关键短语提取（KPE）面临的主要问题是重要信息可能分散在文档的不同部分，现有的预训练语言模型（PLMs）在有限的上下文窗口内无法有效捕捉这些信息。

核心思路：本文提出的注意力扩展机制通过增强PLM的标记表示，结合周围的上下文信息，扩展了模型的有效上下文范围，而无需进行全文注意力或昂贵的LLM推理。

技术框架：该方法的整体架构包括PLM的标记表示与预训练词嵌入的结合，形成一个增强的上下文表示。模型在多个PLM基础上进行评估，涵盖了通用、科学、任务特定和长上下文编码器。

关键创新：注意力扩展机制是本文的核心创新，它通过引入外部上下文信息来增强PLM的表示能力，与传统方法相比，提供了更丰富的上下文信息，而不仅仅是补偿输入长度的不足。

关键设计：在模型设计中，采用了多种PLM作为基础，使用了不同的训练策略和损失函数，以确保在科学和新闻领域的五个基准语料库上进行全面评估。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，注意力扩展机制在五个评估设置中均显著提升了KPE性能，超越了现有的最先进模型，F1分数的提升幅度显著，证明了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括科学文献分析、新闻摘要生成和信息检索等。通过提升长文档的关键短语提取能力，能够有效支持信息获取和知识发现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Pre-trained language models (PLMs) have achieved strong performance in keyphrase extraction (KPE), largely due to their ability to generate rich contextualized representations. However, long-document KPE remains challenging because salient keyphrase evidence may be scattered across distant document sections that cannot be jointly captured within the limited context window of most PLMs. Although long-context large language models (LLMs) can process broader textual contexts, their computational cost limits their practicality for efficient and high-throughput KPE. To overcome this limitation, we propose an attention expansion mechanism that augments PLM token representations with information from surrounding out-of-context chunks using pre-trained word embeddings. The proposed mechanism expands the effective contextual scope of PLM-based KPE models without requiring full-document attention or expensive LLM-based inference. We evaluate our approach across five PLM backbones, including general-purpose, scientific, task-specific, and long-context encoders, using two training regimes and five benchmark corpora from scientific and news domains. Experimental results demonstrate that attention expansion consistently enhances KPE performance across all evaluation settings, outperforming state-of-the-art models and yielding notable improvements in F1 score. The improvements extend to domain-specific, task-specialized, and native long-context models, showing that the proposed mechanism provides complementary information rather than merely compensating for limited input length. These results establish attention expansion as an efficient and effective strategy for long-document KPE.