Beyond Scaling: Predicting Patent Approval with Domain-specific Fine-grained Claim Dependency Graph

📄 arXiv: 2404.14372v1 📥 PDF

作者: Xiaochen Kev Gao, Feng Yao, Kewen Zhao, Beilei He, Animesh Kumar, Vish Krishnan, Jingbo Shang

分类: cs.CL, cs.AI

发布日期: 2024-04-22

备注: 17 Pages, Under Review

🔗 代码/项目: GITHUB

💡 一句话要点

提出FLAN图以解决专利审批预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 专利审批 图模型 细粒度依赖 大型语言模型 数据分析 机器学习

📋 核心要点

  1. 现有大型语言模型在专利审批预测任务中表现不佳，简单的定制方法反而更有效。
  2. 提出细粒度索赔依赖图（FLAN Graph），通过分析专利数据的内在依赖关系，提供了一种模型无关的解决方案。
  3. 实验结果显示，结合FLAN图的图模型在审批预测中显著优于所有大型语言模型，提升效果明显。

📝 摘要（中文）

模型扩展已成为许多语言任务的默认选择，但在特定场景下，简单的定制方法表现更佳。本文探讨专利审批预测任务，发现基于领域的图方法优于模型扩展，利用专利数据中的内在依赖关系。我们提出了一种新颖的细粒度索赔依赖图（FLAN Graph），通过对专利数据的深入分析，捕捉专利文本各部分之间的内在依赖。实验表明，结合FLAN图的图模型在审批预测中显著优于所有大型语言模型基线，强调了大型语言模型的局限性。

🔬 方法详解

问题定义：本文旨在解决专利审批预测中的有效性问题，现有的大型语言模型在此任务中表现接近随机猜测，未能充分利用专利数据的特性。

核心思路：通过提出细粒度索赔依赖图（FLAN Graph），捕捉专利文本中各部分之间的依赖关系，利用图模型进行审批预测，避免了简单扩展模型的低效。

技术框架：整体架构包括数据分析、FLAN图构建和图模型应用三个主要模块。首先对专利数据进行深入分析，构建FLAN图，然后应用不同的图模型进行预测。

关键创新：FLAN图的提出是本研究的核心创新，它通过细致的依赖关系捕捉，显著提高了预测的准确性，与传统的模型扩展方法形成鲜明对比。

关键设计：在FLAN图的构建中，采用了特定的参数设置和图模型设计，确保了模型的高效性和准确性，具体细节在实验部分有详细说明。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，结合FLAN图的图模型在专利审批预测中显著优于所有大型语言模型基线，提升幅度达到XX%，强调了模型扩展的局限性，提供了新的研究方向。

🎯 应用场景

该研究的潜在应用领域包括专利审查、知识产权管理及法律科技等。通过提高专利审批预测的准确性，可以帮助相关机构更高效地处理专利申请，降低人力成本，提升审批效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Model scaling is becoming the default choice for many language tasks due to the success of large language models (LLMs). However, it can fall short in specific scenarios where simple customized methods excel. In this paper, we delve into the patent approval pre-diction task and unveil that simple domain-specific graph methods outperform enlarging the model, using the intrinsic dependencies within the patent data. Specifically, we first extend the embedding-based state-of-the-art (SOTA) by scaling up its backbone model with various sizes of open-source LLMs, then explore prompt-based methods to harness proprietary LLMs' potential, but find the best results close to random guessing, underlining the ineffectiveness of model scaling-up. Hence, we propose a novel Fine-grained cLAim depeNdency (FLAN) Graph through meticulous patent data analyses, capturing the inherent dependencies across segments of the patent text. As it is model-agnostic, we apply cost-effective graph models to our FLAN Graph to obtain representations for approval prediction. Extensive experiments and detailed analyses prove that incorporating FLAN Graph via various graph models consistently outperforms all LLM baselines significantly. We hope that our observations and analyses in this paper can bring more attention to this challenging task and prompt further research into the limitations of LLMs. Our source code and dataset can be obtained from http://github.com/ShangDataLab/FLAN-Graph.