PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites
作者: Yijie Hu, Wei Li, Junjie Zhou, Zhiqi Jiang, Yi Jin, Licong Xu, Xinkai Sun, Kai Duan, Lisha Zhang
分类: cs.AI
发布日期: 2026-10-26
💡 一句话要点
提出PatentAgentBench以评估LLM在专利任务中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 专利任务 大型语言模型 基准测试 智能代理 新颖性搜索 自由运营搜索 专利撰写
📋 核心要点
- 现有的专利任务基准测试范围有限，无法全面评估AI系统在专利工作中的可靠性。
- 本文提出PatentAgentBench基准，涵盖多种专利任务，结合真实专利记录和专业材料进行评估。
- 实验结果显示，当前的LLM在新颖性识别和风险评估等方面表现不佳，仍需改进。
📝 摘要（中文）
专利实践涉及技术、法律和语言工作，面临挑战但对技术创新至关重要。随着大型语言模型（LLMs）和智能系统的快速发展，能否可靠地完成专利工作成为关键问题。现有基准测试覆盖的专利任务范围有限，且简化了证据获取。本文提出PatentAgentBench基准，包含510个实例，涵盖八个任务套件，如新颖性搜索、自由运营搜索、专利撰写等。该基准结合了任务特定的指标和专家审核的注释，评估七个LLM在四个智能代理框架下的表现，发现当前系统在识别新颖性、评估风险和理解从业者意图方面仍存在困难。
🔬 方法详解
问题定义：本文旨在解决现有专利任务基准测试覆盖范围不足的问题，现有方法在证据获取和任务复杂性上存在简化，无法真实反映AI系统的能力。
核心思路：通过构建PatentAgentBench基准，涵盖八个专利任务，结合真实案例和专家评审，提供更全面的评估标准。
技术框架：PatentAgentBench包含510个实例，分为新颖性搜索、自由运营搜索、专利撰写等八个任务套件，结合任务特定的指标和注释进行评估。
关键创新：该基准的创新在于其综合性和真实性，能够更好地反映AI系统在复杂专利任务中的表现，与现有方法相比，提供了更高的评估标准。
关键设计：基准中的任务设计考虑了真实专利记录，任务特定的指标和专家审核的注释确保了评估的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，七个LLM在PatentAgentBench上的表现不尽如人意，尤其在新颖性识别和风险评估方面，整体性能仍有待提升。这表明当前技术在处理复杂专利任务时的局限性。
🎯 应用场景
PatentAgentBench的研究成果可广泛应用于专利领域，帮助评估和提升AI系统在专利工作中的表现，促进技术创新和法律合规。未来，该基准可能推动更多智能系统在法律和技术交叉领域的应用。
📄 摘要（原文）
Patent practice lies at the intersection of technical, legal, and linguistic work, making it challenging yet crucial to technological innovation. Recently, rapid advances in large language models (LLMs) and agentic systems have demonstrated the potential to complete realistic business workflows and even patent works. This raises a question: can current AI systems perform patent work reliably? Existing benchmarks cover a limited range of patent tasks and simplify evidence acquisition by providing reference materials or candidate documents. In this paper, we introduce PatentAgentBench, a benchmark comprising 510 instances across eight task suites: novelty search, freedom-to-operate (FTO) search, design FTO, invalidity search, claim charting, patent drafting, office-action response, and patent translation. Curated from real patent records and professional materials, the benchmark combines task-specific metrics with expert-reviewed annotations and rubrics. Retrieval tasks such novelty search, FTO, etc., require agents to search and compare patent collections without a supplied candidate pool. The drafting and OAR tasks assess the quality of agents' work given technical disclosure and office action notice. We evaluate seven LLMs across four agent harnesses on PatentAgentBench, finding that current systems still struggle to identify novelty, assess risk, and understand practitioner intent throughout patent workflows.