SIMMER: Benchmarking Latent Failures in LLM Executable Planning with a World Model

📄 arXiv: 2606.14574v1 📥 PDF

作者: Xiaoxin Lu, Ranran Haoran Zhang, Rui Zhang

分类: cs.CL, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出SIMMER以解决LLM规划中的潜在失败问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 潜在失败 符号世界模型 状态机执行器 反事实推理

📋 核心要点

  1. 现有方法主要关注即时失败，忽视潜在失败的评估，导致无法及时纠正潜在问题。
  2. 本文提出SIMMER基准，通过符号世界模型评估LLM规划中的潜在失败，填补了这一研究空白。
  3. 实验结果显示，前沿模型的无错误计划比例仅为17%，且56%的计划存在潜在失败，反事实推理显著降低了这些失败的发生率。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用于家庭环境中的自主代理规划。现有基准测试主要评估LLM生成的计划是否成功执行，但忽视了一种关键的失败类型：潜在失败。与即时失败不同，潜在失败不会立即停止计划执行，而是悄然影响目标实现，严重时可能造成不可逆转的损害。为填补这一空白，本文提出了SIMMER，一个通过人类策划的符号世界模型评估LLM规划中的潜在失败的基准，聚焦于厨房领域。SIMMER定义了一个包含77个动作、262个独特对象和约46,800种语义上真实的交互的世界模型。实验表明，即使是前沿模型，其无错误计划的比例也仅为17%，且高达56%的计划存在潜在失败，绝大多数导致不可逆后果。进一步的实验显示，通过反事实前瞻模拟进行显式状态推理可以将潜在失败减少72%，不可逆案例减少75%，为更稳健的LLM规划提供了有希望的方向。

🔬 方法详解

问题定义：本文旨在解决LLM规划中潜在失败的评估问题。现有方法主要关注即时失败，未能识别潜在失败的隐患，导致计划执行中可能出现的严重后果。

核心思路：论文提出SIMMER基准，通过构建一个人类策划的符号世界模型，系统性地评估LLM生成计划中的潜在失败，提供更全面的评估标准。

技术框架：整体架构包括一个符号世界模型，定义了77个动作和262个对象，以及一个状态机执行器，用于验证计划的有效性并检测潜在失败。

关键创新：最重要的创新在于引入了潜在失败的概念，并通过状态机执行器实现对潜在失败的检测，这与现有方法的即时失败评估形成鲜明对比。

关键设计：在设计中，使用了基于真实烹饪脚本的语义交互，确保模型的现实性。同时，反事实推理的引入作为一种显式状态推理方法，显著提升了潜在失败的检测和减少能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，即使是最先进的LLM，其无错误计划的比例仅为17%，而高达56%的计划存在潜在失败，绝大多数导致不可逆后果。通过反事实推理，潜在失败减少了72%，不可逆案例减少了75%，显示出显著的改进效果。

🎯 应用场景

该研究的潜在应用领域包括智能厨房、家庭自动化和机器人规划等。通过改进LLM的规划能力，能够提高自主代理在复杂环境中的决策质量，减少潜在风险，提升用户体验。未来，该方法可能推动更广泛的智能系统在动态环境中的应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed as planners for autonomous agents in household environments. While existing benchmarks evaluate whether LLM-generated plans execute successfully, they overlook a critical type of failure: latent failures. Unlike immediate failures that trigger instant feedback at execution time and enable timely correction, latent failures do not immediately halt plan execution but silently compromise goal achievement. In severe cases, they cause irreversible harm. To address this gap, we introduce SIMMER, a benchmark for evaluating latent failures in LLM planning through a human-curated symbolic world model grounded in the kitchen domain. SIMMER defines a world model comprising 77 actions, 262 unique objects, and approximately 46,800 possible interactions that are semantically realistic, derived from real-world cooking scripts. It then leverages a state machine executor that validates plans against the world model and detects immediate precondition violations, latent hazards, and irreversible failures. Experiments across six LLMs show that even frontier models achieve at most 17% error-free plans. Moreover, up to 56% of plans contain latent failures, the majority of which lead to irreversible consequences. We further demonstrate that explicit state reasoning via counterfactual foresight simulation can reduce latent failures by up to 72% and irreversible cases by up to 75%, suggesting a promising direction for more robust LLM planners.