Toward Secure and Reliable PDDL Formalization of Large Language Models with Planner-in-the-Loop Feedback
作者: Jiamei Jiang, Jiajing Zhang, Feifei Mo, Linjing Li, Daniel Zeng
分类: cs.AI
发布日期: 2026-06-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出NL-PDDL-Bench以解决大型语言模型的安全性与可靠性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 符号规范化 规划者在环 可执行性 安全性 决策支持系统 多领域基准 优化方案
📋 核心要点
- 现有方法在大型语言模型的符号规范化中存在可执行性和可验证性不足的问题，导致决策不可靠。
- 论文提出NL-PDDL-Bench基准和规划者在环框架，通过局部编辑修订不可执行的规范，提升模型的可靠性。
- 实验结果表明，模型在规划成功率和计划一致性上显著提升，尤其在不同领域和难度下表现出更强的鲁棒性。
📝 摘要（中文）
规划通常需要可执行和可验证的符号规范。对于部署在自主或决策支持系统中的大型语言模型，形式化失败可能导致不可验证的决策、执行失败或不安全的下游行为。本文提出了NL-PDDL-Bench，这是一个多领域基准，用于自然语言到PDDL规范构建，具备规划者验证的可执行性和通过对象数量控制的难度扩展。我们进一步提出了一种规划者在环框架，通过局部编辑修订不可执行规范。基于此基础设施，我们开发了一种规划者基础的优化方案，结合了低秩适应的监督微调、离线规划者派生的偏好对以及推理时的规划者在环修复，而无需在训练期间进行在线规划者调用。我们还提供了一个统一的评估套件，用于解析性、可解性、规范相似性和基于结果的计划级一致性评估。实验结果显示，在规划者成功率和计划级一致性上有显著提升，且在难度扩展和跨领域变化下表现出更好的鲁棒性。
🔬 方法详解
问题定义：本文解决的是大型语言模型在规划任务中符号规范化的可执行性和可验证性不足的问题。现有方法常常导致决策不可靠，执行失败，或不安全的下游行为。
核心思路：论文的核心思路是通过NL-PDDL-Bench基准和规划者在环框架，利用验证器和规划者的诊断信息对不可执行的规范进行局部编辑，从而提升规范的可执行性和可靠性。
技术框架：整体架构包括NL-PDDL-Bench基准、规划者在环框架和优化方案。NL-PDDL-Bench用于自然语言到PDDL的规范构建，规划者在环框架用于修订规范，优化方案则结合了低秩适应的微调和离线偏好对。
关键创新：最重要的技术创新点在于提出了规划者在环的修订机制，能够在不需要在线规划者调用的情况下，通过局部编辑提升规范的可执行性。这一方法与现有方法的本质区别在于其高效性和可扩展性。
关键设计：关键设计包括低秩适应的参数设置、离线规划者派生的偏好对的构建，以及推理时的规划者在环修复机制。这些设计确保了模型在训练和推理阶段的高效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用NL-PDDL-Bench的模型在规划成功率上提升了显著的百分比，并在计划级一致性上表现出更高的准确性。尤其在不同领域和难度扩展下，模型的鲁棒性得到了显著增强。
🎯 应用场景
该研究的潜在应用领域包括自主系统、决策支持系统以及安全敏感的规划任务。通过提供可验证的符号规范化，研究成果能够显著提升大型语言模型在复杂环境中的可靠性和安全性，推动其在实际应用中的广泛部署。
📄 摘要（原文）
Planning often requires symbolic specifications that are both executable and verifiable. For large language models deployed in autonomous or decision-support systems, failures in such formalization may lead to unverifiable decisions, execution failures, or unsafe downstream behavior. We present NL-PDDL-Bench, a multi-domain benchmark for natural-language-to-PDDL specification construction with planner-verified executability and controlled difficulty scaling by object count. We further propose a planner-in-the-loop framework that uses validator and planner diagnostics to revise non-executable specifications through localized edits. Building on this infrastructure, we develop a planner-grounded optimization recipe that combines parameter-efficient Low-Rank Adaptation supervised fine-tuning, offline planner-derived preference pairs for Direct Preference Optimization, and inference-time planner-in-the-loop repair, without requiring online planner calls during training. We also provide a unified evaluation suite for parseability, solvability, specification similarity, and outcome-aware plan-level consistency against planner references. Experiments on representative model families show substantial gains in planner success and plan-level agreement, with improved robustness under difficulty scaling and cross-domain variation. These results highlight the value of externally verifiable formalization for reliable deployment of LLMs in safety- or security-sensitive planning systems. Code and data are available at: https://github.com/ibasicplan/NL-PDDL-Bench