Grounded Iterative Language Planning: How Parameterized World Models Reduce Hallucination Propagation in LLM Agents

📄 arXiv: 2606.27806 📥 PDF

作者: Xinyuan Song, Zekun Cai

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出基于参数化世界模型的迭代语言规划以减少LLM代理的幻觉传播

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型 世界模型 幻觉传播 自动化规划 智能代理 参数化模型 一致性门控

📋 核心要点

  1. 现有的基于代理的世界模型在推理时容易产生幻觉状态变化，难以通过传统方法进行评估。
  2. 论文提出的GILP方法结合了参数化世界模型与LLM API推理，旨在减少幻觉传播并提高规划准确性。
  3. 实验结果显示，GILP在真实调用中显著降低了幻觉状态率，并在模拟器中提高了成功率，展示了其有效性。

📝 摘要（中文）

语言代理的世界模型有两种有用形式：基于代理的世界模型通过调用LLM API灵活推理，但其错误表现为难以通过普通回归损失评分的幻觉状态变化；而参数化世界模型则是经过训练的转移预测器，其错误更易于通过NodeMSE、增量准确性和有效性准确性等量度进行评估，但作为独立规划器通常较弱。本文在四个图结构规划基准上比较这两种模型，并引入了针对基于代理的情况的操作幻觉度量。基于比较，提出了Grounded Iterative Language Planning（GILP），该方法仅训练一个小的参数化骨干，并将其与基于API的代理推理结合。骨干提供有效的动作、预测的状态增量、风险和价值；LLM起草动作和想象的增量；当两者不一致时，一致性门控请求修订。在真实的GPT-4o-mini调用中，GILP将幻觉状态率从0.176降低到0.035。在经过校准的模拟器消融实验中，成功率从0.668提高到0.838，同时仅增加约22%的LLM调用。

🔬 方法详解

问题定义：本文旨在解决现有基于代理的世界模型在推理过程中产生的幻觉状态变化问题，这些错误难以通过传统的回归损失进行评估。

核心思路：GILP方法通过结合参数化世界模型与LLM API推理，利用参数化骨干提供有效的动作和状态预测，从而减少幻觉传播。

技术框架：GILP的整体架构包括参数化骨干、LLM推理模块和一致性门控。骨干负责提供有效的动作和状态增量，LLM负责生成动作草案，而一致性门控则在两者不一致时请求修订。

关键创新：GILP的主要创新在于将参数化世界模型与LLM推理相结合，利用参数化模型的可测量性来提高整体规划的准确性，显著减少了幻觉状态的发生。

关键设计：在设计中，参数化骨干的训练采用了NodeMSE等损失函数，确保其输出的动作和状态增量的有效性。同时，设置了一致性门控机制，以确保LLM生成的内容与骨干输出的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GILP在真实的GPT-4o-mini调用中将幻觉状态率从0.176降低至0.035，在经过校准的模拟器消融实验中，成功率从0.668提升至0.838，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化规划和人机交互等。通过减少幻觉状态的传播，GILP可以提高智能系统在复杂任务中的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

World models for language agents come in two useful forms. An agent-based world model calls an LLM API and reasons flexibly in language, but its errors appear as hallucinated state changes that are hard to score with ordinary regression losses. A parameterized world model is a trained transition predictor; its errors are easier to measure with quantities such as NodeMSE, delta accuracy, and validity accuracy, but it is usually weaker as a standalone planner. We compare these two families on four graph-structured planning benchmarks and introduce operational hallucination metrics for the agent-based case. The comparison motivates Grounded Iterative Language Planning(GILP), which trains only a small parameterized backbone and combines it with API-based agent reasoning. The backbone supplies valid actions, predicted state deltas, risk, and value; the LLM drafts an action and imagined delta; and a consistency gate asks for revision when the two disagree. On real GPT-4o-mini calls, GILP reduces hallucinated-state rate from 0.176 to 0.035. In calibrated simulator ablations, it raises success from 0.668 to 0.838 while adding only ~22% extra LLM calls.