Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning

📄 arXiv: 2606.27483v1 📥 PDF

作者: Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

分类: cs.AI

发布日期: 2026-06-25

💡 一句话要点

提出统一的代理训练范式以解决长远决策问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长远决策 内部世界模型 自回归模型 强化学习 预测能力 训练范式 数学推理 搜索任务

📋 核心要点

  1. 现有大型语言模型在长远决策任务中表现反应性，缺乏有效的内部世界模型来模拟未来结果。
  2. 本文提出了一种三阶段训练范式，通过注入潜在预测能力、结构化能力和强化学习来实现未来感知规划。
  3. 在搜索和数学推理任务中，所提方法在性能上显著优于其他基线，验证了内部世界建模的重要性。

📝 摘要（中文）

大型语言模型（LLM）代理在顺序决策中表现出强大的能力，但在长时间任务中仍然是反应性的。与人类通过“假设”推理评估潜在计划不同，标准代理缺乏内部世界模型来模拟未来结果。为此，本文提出通过训练单一自回归模型来内化未来感知规划，生成未来状态的展开和计划条件下的成功估计。我们识别出格式-能力差距，简单的后期微调无法实现真正的预测能力。为此，提出三阶段训练范式：世界模型代理中期训练（WM-AMT）、格式引导的微调（FE-SFT）和前瞻条件强化学习（FC-RL）。在搜索和数学推理任务中，我们的方法始终优于其他训练基线，证明了有效的内部世界建模需要能力优先的训练流程。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长远决策任务中缺乏内部世界模型的问题，现有方法仅通过后期微调无法实现真正的预测能力。

核心思路：提出通过训练单一自回归模型来内化未来感知规划，生成未来状态的展开和计划条件下的成功估计，从而提升模型的预测能力。

技术框架：整体架构包括三个主要阶段：世界模型代理中期训练（WM-AMT）用于注入潜在预测能力；格式引导的微调（FE-SFT）用于结构化能力；前瞻条件强化学习（FC-RL）用于优化生成模拟的校准和效用。

关键创新：最重要的创新在于提出了能力优先的训练流程，解决了格式-能力差距的问题，使得模型能够实现真正的前瞻性推理。

关键设计：在训练过程中，采用了特定的损失函数和网络结构设计，以确保模型能够有效地学习到未来状态的展开和成功估计。具体参数设置和网络架构细节在论文中进行了详细描述。

📊 实验亮点

在实验中，所提方法在搜索和数学推理任务上表现优异，显著超越了其他训练基线，具体性能提升幅度达到了XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人规划、智能助手等需要长远决策的场景。通过提升模型的预测能力，能够在复杂环境中做出更为准确的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language model (LLM) agents have demonstrated strong capability in sequential decision-making, yet they remains fundamentally reactive in long-horizon tasks. Unlike humans who employ "what-if" reasoning to evaluate potential plans before commitment, standard agents lack an internal world model to simulate future outcomes. Therefore, we propose to internalize future-aware planning by training a single autoregressive model to verbalize both a prospective state rollout and a plan-conditioned success estimate-a textual analogue of the Q-value. Crucially, we identify a format-capability gap: simply fine-tuning agents on look-ahead traces during post-training leads to superficial mimicry of foresight without genuine predictive grounding. To bridge this gap, we introduce a three-stage training paradigm: (i) World Model Agentic Mid-Training (WM-AMT) to inject latent predictive capabilities into the policy; (ii) Format-Eliciting SFT (FE-SFT) to structure this injected capability; and (iii) Foresight-Conditioned Reinforcement Learning (FC-RL) to refine the calibration and utility of the generated simulations. Evaluated on search and mathematical reasoning tasks, our approach consistently outperforms other training baselines. Our results demonstrate that effective internal world modeling in LLM agents requires a capability-first training pipeline to achieve grounded and calibrated foresight.