Distilling Answer Set Programming Theories from Large Language Models

📄 arXiv: 2607.28086v1 📥 PDF

作者: Nelson Higuera Ruiz, Markus Hofmarcher, Claudiu Leoveanu-Condrei

分类: cs.AI

发布日期: 2026-07-30

备注: Accepted at NeSy 2026

💡 一句话要点

提出神经符号方法从大型语言模型中蒸馏答案集编程理论

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 答案集编程 神经符号方法 大型语言模型 自动化推理 视觉问答 模型蒸馏 复杂推理

📋 核心要点

  1. 撰写答案集编程理论的过程复杂且耗时，现有方法在效率和准确性上存在不足。
  2. 本文提出了一种神经符号方法，通过固定的代理环境和时间限制，自动生成完整的ASP理论。
  3. 实验结果显示，前沿模型在多个基准测试中表现优异，尤其在CLEVR上达到了100%的准确率。

📝 摘要（中文）

撰写答案集编程（ASP）理论是一项困难且耗时的任务。本文采用神经符号方法研究模型是否能够在固定的代理环境中蒸馏出完整且正确的理论。该协议不依赖于数据集：模型在一个小时内从单一提示和空文件出发，推导出完整理论。我们选择了视觉问答（VQA）作为应用领域，并使用了三个基准（CLEVR、GQA、CLEVRER）。通过对九种不同模型的测试，发现三种前沿模型在CLEVR上达到了100%的准确率，而在GQA上则为92.8%-98.8%。我们发布了代码、提示和蒸馏出的理论。

🔬 方法详解

问题定义：本文旨在解决从头编写答案集编程理论的困难，现有方法在理论生成的完整性和准确性上存在显著挑战。

核心思路：通过将大型语言模型与固定的求解器结合，采用神经符号方法，模型在限定时间内自动推导出完整的ASP理论。

技术框架：整体架构包括输入提示、空文件初始化、模型推导过程和求解器反馈，模型在一小时内完成理论生成。

关键创新：本研究的创新在于将大型语言模型与求解器结合，形成闭环反馈机制，显著提高了理论生成的效率和准确性。

关键设计：实验中使用了九种不同规模的模型，设置了时间限制，并对比了手写参考理论对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，三种前沿模型在CLEVR基准测试中达到了100%的准确率，而在GQA上表现为92.8%-98.8%。GPT-5在CLEVR上达到了98.7%的准确率，但在GQA和CLEVRER上表现较差，显示出模型在不同任务上的适应性差异。

🎯 应用场景

该研究的潜在应用领域包括自动化编程、智能问答系统和复杂推理任务。通过提高答案集编程理论的生成效率，能够在多个领域实现更高效的知识表示和推理，推动智能系统的发展。

📄 摘要（原文）

Writing Answer Set Programming (ASP) theories from scratch is a difficult and time-consuming task. We take a neurosymbolic approach to study whether a model can distill complete and correct theories, given a fixed agent harness with the solver in the loop. The protocol is dataset-agnostic: with a single prompt and an empty file as the starting point the model is given a 1-hour time limit to derive a complete theory. We chose VQA as the application domain, three benchmarks (CLEVR, GQA, CLEVRER), as these are publicly available and non-trivial. In order to study the model scale required for solving this task we nine different models: four frontier (Claude Sonnet 4.6, Claude Opus 4.7, GPT-5, DeepSeek V4 Pro), two mid-tier (DeepSeek V4 Flash, gpt-oss-120b), and three open-weights (qwen3.6-27b, gpt-oss-20b, qwen3.5-9b). Three of four frontier models reach 100% on CLEVR and 92.8%-98.8% on GQA; on CLEVRER, Sonnet, Opus, DeepSeek V4 Pro score 92.7%-95.3%. GPT-5 reaches 98.7% on CLEVR but drops to 41.8% on GQA and to 86.7% on CLEVRER. Adding handwritten reference theories from other datasets moves the other three frontier models by at most +/-3.4 pp but reduces GPT-5's accuracy by 3-19 pp. We release the code, prompts, and theories distilled.