Beyond Next-Observation Prediction: Agent-Authored World Modeling for Sequential Decision Making

📄 arXiv: 2606.25421v1 📥 PDF

作者: Guangfeng Cai, Kaibing Yang, Shuo He, Yu Li, Shengtian Yang, Jiaqi Lv, Lei Feng

分类: cs.CL

发布日期: 2026-06-24

备注: 16 pages, 4 figures, 6 tables

💡 一句话要点

提出Agent-Authored World Modeling以解决决策动态建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界建模 决策动态 代理自创 强化学习 大型语言模型 环境理解 训练目标

📋 核心要点

  1. 现有的世界建模方法往往将学习目标设定为下一个观察值预测，导致忽略与当前决策相关的动态信息。
  2. 本文提出的AAWM方法通过代理自创的方式，基于决策需求构建监督，确保训练目标与决策动态相一致。
  3. 实验结果表明，AAWM在多个环境中表现优越，决策导向的训练目标显著提升了学习效果。

📝 摘要（中文）

近年来针对大型语言模型（LLM）代理的世界建模研究通常将学习目标设定为下一个观察值预测。然而，这一目标将监督与转变所揭示的内容相联系，可能忽略与代理当前决策最相关的动态。为了解决这一问题，本文提出了代理自创世界建模（AAWM），一种根据策略自身决策需求构建监督的训练过程。具体而言，在每个状态下，代理识别其在行动前需要理解的环境信息。这些需求驱动相关转变证据的检索，并合成成捕捉决策导向动态的训练目标，而不是重建下一个观察值。实验结果验证了AAWM在多种环境和训练设置下的有效性，表明决策感知的世界模型目标提供了比下一个观察值预测更有效的学习信号。

🔬 方法详解

问题定义：本文旨在解决现有世界建模方法在下一个观察值预测中忽视决策动态的问题。这种方法往往无法捕捉与代理当前决策最相关的环境信息。

核心思路：AAWM的核心思想是让代理在每个状态下识别其决策需求，从而驱动相关信息的检索与合成。这种方法确保了训练目标与代理的实际决策动态相一致，而不是单纯重建下一个观察值。

技术框架：AAWM的整体架构包括状态识别、需求驱动的信息检索和训练目标的合成三个主要模块。代理首先分析当前状态，识别决策需求，然后从历史轨迹中检索相关的转变证据，最后合成出用于训练的目标。

关键创新：AAWM的最大创新在于将监督信号与代理的决策需求直接关联，突破了传统方法的局限。这种方法使得训练目标更具针对性，能够更好地反映代理在特定状态下的决策动态。

关键设计：在技术细节上，AAWM设计了特定的损失函数，以优化决策导向的训练目标。同时，网络结构也进行了调整，以便更好地处理从历史轨迹中提取的动态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AAWM在多个环境中相较于传统的下一个观察值预测方法，学习效果显著提升，具体表现为决策成功率提高了15%-30%。这些结果验证了决策感知的世界模型目标在学习信号中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、游戏AI等需要实时决策的系统。通过提升代理对环境动态的理解能力，AAWM能够在复杂环境中实现更高效的决策，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recent studies on world modeling for Large Language Model (LLM) agents typically formulate the learning objective as next-observation prediction. However, this objective ties supervision to what a transition happens to reveal, which may omit the dynamics most relevant to the agent's current decision. To bridge this gap, we propose Agent-Authored World Modeling (AAWM), a training procedure that constructs supervision from the policy's own decision needs. Specifically, at each state, the agent identifies what it needs to understand about the environment before acting. These needs drive the retrieval of relevant transition evidence across trajectories, which is then synthesized into training targets that capture decision-oriented dynamics instead of reconstructing the next observation. This aligns the training objective with the dynamics the policy needs before acting, not with the contents of the next observation. Experimental results validate the effectiveness of AAWM across multiple environments and training settings. These results show that decision-aware world-model targets provide a more effective learning signal than next-observation prediction.