PaECTER: Patent-level Representation Learning using Citation-informed Transformers

📄 arXiv: 2402.19411v2 📥 PDF

作者: Mainak Ghosh, Michael E. Rose, Sebastian Erhardt, Erik Buunk, Dietmar Harhoff

分类: cs.IR, cs.CL, cs.LG

发布日期: 2024-02-29 (更新: 2025-10-01)

备注: 8 pages, 3 figures, 4 tables

💡 一句话要点

提出PaECTER以提升专利文献的表示学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 专利表示学习 BERT微调 引用信息 相似性预测 文献检索 机器学习

📋 核心要点

  1. 现有的专利表示学习方法在处理复杂的引用信息时存在不足，难以有效捕捉专利之间的相似性。
  2. 论文提出了PaECTER，通过微调BERT并结合引用信息，生成更为精准的专利文档数值表示。
  3. 实验结果显示，PaECTER在专利引用预测任务中，优于现有的专利特定预训练语言模型及通用文本嵌入模型，提升显著。

📝 摘要（中文）

PaECTER是一个针对专利的开放源代码文档级编码器。我们对BERT进行了微调，结合审查员添加的引用信息，以生成专利文档的数值表示。PaECTER在相似性任务中表现优于当前专利领域的最先进模型，尤其在专利引用预测测试数据集上，相较于25个无关专利，模型平均能够在1.32的排名下预测到至少一个最相似的专利。这些由PaECTER生成的数值表示可用于分类、知识流追踪或语义相似性搜索等下游任务，尤其在发明者和专利审查员的先前技术检索中具有重要意义。

🔬 方法详解

问题定义：本论文旨在解决现有专利表示学习方法在处理引用信息时的不足，特别是在相似性任务中的表现不佳。现有模型未能充分利用审查员添加的引用信息，导致专利文献的相似性判断不够准确。

核心思路：论文的核心思路是通过微调BERT模型，结合专利文献中的引用信息，生成更为有效的数值表示。这种设计旨在增强模型对专利文献的理解能力，从而提高相似性预测的准确性。

技术框架：PaECTER的整体架构包括数据预处理、BERT微调和数值表示生成三个主要模块。在数据预处理阶段，整合审查员添加的引用信息；在微调阶段，针对专利文献进行特定的训练；最后生成的数值表示可用于后续的相似性搜索和分类任务。

关键创新：PaECTER的主要创新在于引入了审查员的引用信息作为上下文，显著提升了专利文献的表示能力。这一方法与传统的专利表示学习方法相比，能够更好地捕捉专利之间的相似性和引用关系。

关键设计：在模型设计上，PaECTER采用了BERT的基础架构，并在训练过程中使用了特定的损失函数来优化相似性预测。此外，模型的超参数设置经过精细调整，以确保在专利文献的特定任务中获得最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PaECTER在专利引用预测任务上表现出色，平均能够在1.32的排名下预测到至少一个最相似的专利，相较于25个无关专利的对比，显示出显著的性能提升。这一结果表明，PaECTER在专利领域的应用潜力巨大，超越了现有的最先进模型。

🎯 应用场景

该研究的潜在应用场景包括专利文献的分类、知识流的追踪以及语义相似性搜索等。通过生成高质量的专利表示，PaECTER能够帮助发明者和专利审查员更有效地进行先前技术检索，从而提高专利审查的效率和准确性。未来，该技术还可能扩展到其他领域的文献检索和相似性分析中。

📄 摘要（原文）

PaECTER is an open-source document-level encoder specific for patents. We fine-tune BERT for Patents with examiner-added citation information to generate numerical representations for patent documents. PaECTER performs better in similarity tasks than current state-of-the-art models used in the patent domain. More specifically, our model outperforms the patent specific pre-trained language model (BERT for Patents) and general-purpose text embedding models (e.g., E5, GTE, and BGE) on our patent citation prediction test dataset on different rank evaluation metrics. PaECTER predicts at least one most similar patent at a rank of 1.32 on average when compared against 25 irrelevant patents. Numerical representations generated by PaECTER from patent text can be used for downstream tasks such as classification, tracing knowledge flows, or semantic similarity search. Semantic similarity search is especially relevant in the context of prior art search for both inventors and patent examiners.