ADVENT: LLM-Driven Automatic Predicate Invention for ILP

📄 arXiv: 2607.01585 📥 PDF

作者: Tingting Yu, Pei-Cing Huang, Chan Hsu, Chan-Tung Ku, Yihuang Kang

分类: cs.LO, cs.AI, cs.CL

发布日期: 2026-07-05

💡 一句话要点

提出ADVENT以解决归纳逻辑编程中的谓词发明问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 归纳逻辑编程 谓词发明 大型语言模型 知识重用 自动化推理 Prolog 智能系统

📋 核心要点

  1. 现有的谓词发明方法依赖领域知识，生成的谓词语义模糊，限制了其在新领域的适应性和跨任务重用能力。
  2. ADVENT通过结合大型语言模型的归纳生成与Prolog的演绎验证，形成迭代循环，优化候选谓词。
  3. 在九个扑克手牌概念的实验中，ADVENT的成功率达到58%，形式验证后提升至80%，知识池的使用带来了31个百分点的性能提升。

📝 摘要（中文）

谓词发明（PI）是扩展假设空间的关键步骤，但现有方法依赖领域专业知识，导致生成的谓词语义不清，限制了在新领域的适应性和跨任务重用。本文提出ADVENT，一种基于大型语言模型（LLM）的PI机制。ADVENT结合了LLM的归纳生成与Prolog的演绎验证，形成一个迭代循环，通过具体执行结果指导LLM优化候选谓词。该机制利用LLM识别结构化关系数据中的隐含模式，发明具有意义的名称和定义的辅助谓词。实验表明，ADVENT在九个扑克手牌概念上实现了58%的成功率，而ILP方法完全失败，形式验证将成功率提升至80%，知识池的使用使得性能提升达31个百分点，同时生成可被人理解的规则。这些结果表明，ADVENT为自动化谓词发明和跨任务知识重用提供了有前景的方向。

🔬 方法详解

问题定义：本文旨在解决归纳逻辑编程（ILP）中的谓词发明问题。现有方法依赖领域专家知识，生成的谓词往往缺乏语义清晰性，导致在新领域的适应性差和跨任务重用困难。

核心思路：ADVENT的核心思路是结合大型语言模型（LLM）进行归纳生成与Prolog的演绎验证，形成一个迭代优化的过程。通过具体执行结果反馈，LLM能够不断改进候选谓词的质量和语义。

技术框架：ADVENT的整体架构包括两个主要模块：首先，使用LLM生成候选谓词；其次，利用Prolog进行演绎验证，确保生成谓词的有效性。整个过程是一个迭代循环，LLM根据验证结果不断调整生成策略。

关键创新：ADVENT的主要创新在于将LLM与传统的逻辑编程方法相结合，形成了一种新的谓词发明机制。这种方法不仅提高了谓词的语义清晰度，还增强了在不同任务中的重用能力。

关键设计：在设计中，ADVENT使用了特定的损失函数来评估生成谓词的有效性，并通过反馈机制优化LLM的生成过程。具体的网络结构和参数设置在实验中经过调优，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ADVENT在九个扑克手牌概念上实现了58%的成功率，而传统ILP方法完全失败。通过形式验证，成功率提升至80%，并且知识池的使用使得性能提升达31个百分点，生成的规则具有良好的可解释性。

🎯 应用场景

ADVENT的研究成果在多个领域具有广泛的应用潜力，尤其是在需要自动化知识获取和推理的场景中，如智能助手、自动化决策系统和知识图谱构建等。未来，ADVENT可能推动更高效的知识重用和智能系统的自我学习能力。

📄 摘要（原文）

Predicate invention (PI), the creation of new predicates to extend the hypothesis space, remains a critical bottleneck in Inductive Logic Programming (ILP). Existing methods rely on domain expertise and produce semantically opaque predicates, hindering adaptation to unfamiliar domains and cross-task reuse. We present ADVENT, an LLM-driven PI mechanism for ILP. ADVENT pairs LLM abductive generation with Prolog deductive verification, forming an iterative loop in which concrete execution results guide the LLM to refine candidate predicates. The mechanism leverages Large Language Models to identify implicit patterns in structured relational data and invent auxiliary predicates with meaningful names and definitions. Invented predicates and learned rules accumulate in a knowledge pool for cross-task reuse. Experiments on nine poker-hand concepts across seven LLMs show that LLM-driven PI achieves 58% success rate where ILP alone fails entirely, formal verification raises this to 80%, and the knowledge pool yields gains up to +31 percentage points, while producing human-interpretable rules. These results suggest that ADVENT offers a promising direction for automating predicate invention and enabling cross-task knowledge reuse in ILP.