Grounded Iterative Language Planning: How Parameterized World Models Reduce Hallucination Propagation in LLM Agents

📄 arXiv: 2606.27806v1 📥 PDF

作者: Xinyuan Song, Zekun Cai

分类: cs.AI

发布日期: 2026-06-26

备注: Under Review

💡 一句话要点

提出GILP以减少LLM代理中的幻觉传播问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型 幻觉状态 参数化模型 决策支持 智能代理

📋 核心要点

  1. 现有的基于代理的世界模型容易产生幻觉状态，难以用传统方法进行评分和优化。
  2. 本文提出的GILP方法结合了参数化骨干与API推理，提供有效的动作和状态预测，减少幻觉传播。
  3. 实验结果显示，GILP显著降低了幻觉状态率，并提高了成功率，验证了其有效性和实用性。

📝 摘要（中文）

语言代理的世界模型主要有两种形式：基于代理的世界模型通过调用LLM API灵活推理，但其错误表现为难以用普通回归损失评分的幻觉状态变化；而参数化世界模型则是训练的状态转移预测器，其错误可以通过NodeMSE、增量准确率和有效性准确率等量度来衡量，但作为独立规划器通常较弱。本文比较了这两种模型在四个图结构规划基准上的表现，并引入了针对基于代理的情况的操作幻觉度量。基于比较结果，提出了“基础迭代语言规划”（GILP），该方法仅训练一个小型参数化骨干，并将其与基于API的代理推理结合。实验表明，GILP在真实的GPT-4o-mini调用中将幻觉状态率从0.176降低至0.035，并在校准的模拟器消融实验中将成功率从0.668提升至0.838，同时仅增加约22%的LLM调用。

🔬 方法详解

问题定义：本文旨在解决现有基于代理的世界模型在推理过程中产生的幻觉状态问题，这些幻觉状态难以通过传统回归损失进行评估和优化。

核心思路：GILP方法结合了一个小型的参数化骨干和API驱动的代理推理，利用骨干提供有效的动作和状态预测，从而减少幻觉的传播。

技术框架：GILP的整体架构包括三个主要模块：参数化骨干负责提供有效的动作和状态增量，LLM负责草拟动作和想象的状态增量，最后通过一致性门控机制进行修正。

关键创新：GILP的核心创新在于将参数化世界模型与基于API的推理相结合，利用骨干的有效性来增强LLM的推理能力，从而显著降低幻觉状态的发生率。

关键设计：在设计中，骨干网络的参数设置经过精心调整，损失函数包括NodeMSE和有效性准确率等，确保模型在提供有效预测的同时，保持较低的幻觉状态率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GILP在真实的GPT-4o-mini调用中将幻觉状态率从0.176降低至0.035，同时在校准的模拟器消融实验中成功率从0.668提升至0.838，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动化决策支持和复杂任务规划等。通过减少幻觉状态的传播，GILP能够提升语言模型在实际应用中的可靠性和准确性，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

World models for language agents come in two useful forms. An agent-based world model calls an LLM API and reasons flexibly in language, but its errors appear as hallucinated state changes that are hard to score with ordinary regression losses. A parameterized world model is a trained transition predictor; its errors are easier to measure with quantities such as NodeMSE, delta accuracy, and validity accuracy, but it is usually weaker as a standalone planner. We compare these two families on four graph-structured planning benchmarks and introduce operational hallucination metrics for the agent-based case. The comparison motivates \textbf{Grounded Iterative Language Planning} (GILP), which trains only a small parameterized backbone and combines it with API-based agent reasoning. The backbone supplies valid actions, predicted state deltas, risk, and value; the LLM drafts an action and imagined delta; and a consistency gate asks for revision when the two disagree. On real GPT-4o-mini calls, GILP reduces hallucinated-state rate from 0.176 to 0.035. In calibrated simulator ablations, it raises success from 0.668 to 0.838 while adding only ~22% extra LLM calls.