ADVENT: LLM-Driven Automatic Predicate Invention for ILP

📄 arXiv: 2607.01585v1 📥 PDF

作者: Tingting Yu, Pei-Cing Huang, Chan Hsu, Chan-Tung Ku, Yihuang Kang

分类: cs.LO, cs.AI, cs.CL

发布日期: 2026-07-02

💡 一句话要点

提出ADVENT以解决归纳逻辑编程中的谓词发明问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 归纳逻辑编程 谓词发明 大型语言模型 知识重用 自动化推理

📋 核心要点

  1. 现有的谓词发明方法依赖领域专业知识，导致生成的谓词语义不清，难以适应新领域和跨任务重用。
  2. ADVENT结合大型语言模型的归纳生成与Prolog的演绎验证，通过迭代优化候选谓词，提升了谓词发明的质量和效率。
  3. 在九个扑克手牌概念的实验中，ADVENT的成功率为58%，形式验证后提升至80%，知识池的使用使得性能提升达到31个百分点。

📝 摘要（中文）

谓词发明（PI）是扩展假设空间的重要环节，但现有方法依赖领域专业知识，产生语义不清的谓词，限制了其在新领域和跨任务中的适用性。本文提出ADVENT，一种基于大型语言模型（LLM）的PI机制，结合LLM的归纳生成与Prolog的演绎验证，形成迭代循环，通过具体执行结果指导LLM优化候选谓词。ADVENT能够识别结构化关系数据中的隐含模式，发明具有意义的辅助谓词。实验表明，LLM驱动的PI在九个扑克手牌概念上取得58%的成功率，而传统ILP完全失败，形式验证将成功率提升至80%，知识池的使用使得性能提升高达31个百分点，且生成的规则可被人类理解。这些结果表明，ADVENT为自动化谓词发明和跨任务知识重用提供了有前景的方向。

🔬 方法详解

问题定义：本文解决的具体问题是如何在归纳逻辑编程（ILP）中自动发明新的谓词，以扩展假设空间。现有方法依赖领域知识，导致生成的谓词缺乏语义透明性，限制了其在新领域的适用性和跨任务的重用性。

核心思路：ADVENT的核心思路是将大型语言模型（LLM）的归纳生成能力与Prolog的演绎验证相结合，形成一个迭代循环。通过具体执行结果反馈，LLM能够不断优化候选谓词，从而提高谓词的质量和适用性。

技术框架：ADVENT的整体架构包括两个主要模块：LLM生成模块和Prolog验证模块。首先，LLM根据输入的结构化关系数据生成候选谓词；然后，Prolog对这些谓词进行验证，确保其逻辑一致性和有效性。这个过程是迭代的，生成和验证交替进行。

关键创新：ADVENT的主要创新在于将LLM与传统的逻辑编程方法相结合，形成了一种新的谓词发明机制。与现有方法相比，ADVENT能够生成语义明确、可解释的谓词，显著提高了自动化程度和跨任务重用的能力。

关键设计：在设计上，ADVENT使用了特定的参数设置以优化LLM的生成过程，并采用了适合的损失函数来评估生成谓词的质量。此外，网络结构方面，LLM的训练过程考虑了结构化数据的特性，以提高生成的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ADVENT在九个扑克手牌概念上实现了58%的成功率，而传统ILP方法完全失败。经过形式验证，成功率提升至80%，并且知识池的使用使得性能提升高达31个百分点，生成的规则具有良好的可解释性。

🎯 应用场景

ADVENT的研究成果在多个领域具有潜在应用价值，特别是在需要自动化知识发现和推理的场景，如智能问答系统、知识图谱构建和复杂决策支持系统。通过自动发明具有语义的谓词，ADVENT能够提升系统的智能化水平和适应性，推动人工智能在新领域的应用。

📄 摘要（原文）

Predicate invention (PI), the creation of new predicates to extend the hypothesis space, remains a critical bottleneck in Inductive Logic Programming (ILP). Existing methods rely on domain expertise and produce semantically opaque predicates, hindering adaptation to unfamiliar domains and cross-task reuse. We present ADVENT, an LLM-driven PI mechanism for ILP. ADVENT pairs LLM abductive generation with Prolog deductive verification, forming an iterative loop in which concrete execution results guide the LLM to refine candidate predicates. The mechanism leverages Large Language Models to identify implicit patterns in structured relational data and invent auxiliary predicates with meaningful names and definitions. Invented predicates and learned rules accumulate in a knowledge pool for cross-task reuse. Experiments on nine poker-hand concepts across seven LLMs show that LLM-driven PI achieves 58% success rate where ILP alone fails entirely, formal verification raises this to 80%, and the knowledge pool yields gains up to +31 percentage points, while producing human-interpretable rules. These results suggest that ADVENT offers a promising direction for automating predicate invention and enabling cross-task knowledge reuse in ILP.