Agentic World Modeling for Agent Test-time Scaling without Environment Replica

📄 arXiv: 2610.40927v1 📥 PDF

作者: Wendi Li, Huseyin A. Inan, Wei-Ning Chen, Yanzhi Chen, Chetan Bansal, Saravan Rajmohan, Sharon Li

分类: cs.AI, cs.CL, cs.MA

发布日期: 2026-10-29

💡 一句话要点

提出Agentic世界建模以解决共享环境下的测试时间扩展问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 测试时间扩展 Agentic世界建模 共享环境 智能代理 证据获取

📋 核心要点

  1. 现有的测试时间扩展方法假设轨迹可以并行执行，但在共享和不可重置的环境中，这一假设往往不成立，导致不可预见的干扰和副作用。
  2. 本文提出的Agentic世界建模（AWM）通过将下一观察预测转化为多轮证据获取任务，利用安全的只读接口与真实环境交互，避免了对共享状态的修改。
  3. 在多个基准测试中，AWM的表现显著优于单次模拟和训练的世界模型基线，展示了其在共享环境中安全扩展代理能力的潜力。

📝 摘要（中文）

测试时间扩展（TTS）通过在多个候选轨迹中进行采样和选择来提升大型语言模型代理的性能，但现有方法通常假设这些轨迹可以并行执行，这在现实部署中并不成立。为了解决这一问题，本文提出了Agentic世界建模（AWM），将下一观察预测重新构建为多轮证据获取任务。AWM通过安全的只读接口适应性地查询真实环境，推理返回的证据，并在不改变共享状态的情况下构造结果观察。与轨迹级TTS集成后，AWM能够在单一共享环境中进行并行探索。实验结果表明，AWM在多个基准测试中平均超越单次模拟基线40.07%，并比训练的世界模型基线提升12.36%。

🔬 方法详解

问题定义：本文旨在解决在共享和不可重置环境中进行测试时间扩展（TTS）时，现有方法无法有效并行执行轨迹的问题。现有的生成世界模型通常将环境状态压缩为单一提示，限制了在部分可观察情况下的可靠模拟能力。

核心思路：论文提出的Agentic世界建模（AWM）通过将下一观察预测重新构建为多轮证据获取任务，允许代理在真实环境中进行安全查询，从而获取必要的证据而不改变共享状态。

技术框架：AWM的整体架构包括一个代理模拟器，该模拟器通过安全的只读接口与环境交互，推理返回的证据，并利用可执行计算构造观察结果。该框架与轨迹级TTS集成，实现了在单一共享环境中的并行探索。

关键创新：AWM的主要创新在于其交互式、基于证据的模拟方法，区别于传统的直接执行轨迹的方法，避免了对共享环境的干扰。

关键设计：AWM设计了适应性查询机制，通过安全接口获取环境信息，并在构建观察时使用可执行计算，确保了在不改变环境状态的情况下进行有效推理。

📊 实验亮点

在多个基准测试（如τ-bench、AppWorld和OfficeBench）中，AWM的表现优于单次模拟基线40.07%，并且比训练的世界模型基线提升12.36%。这些结果证明了AWM在共享、不可重置环境中进行安全和可扩展的代理测试时间扩展的有效性。

🎯 应用场景

该研究的潜在应用领域包括企业工作空间、云服务等共享环境中的智能代理系统。通过安全的测试时间扩展，AWM能够在复杂环境中实现更高效的决策和操作，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Test-time scaling (TTS) improves large language model agents by sampling and selecting among multiple candidate trajectories, but common realizations assume that these trajectories can be executed in parallel. This assumption breaks in realistic deployments, where enterprise workspaces and cloud services are shared and persistent, costly or infeasible to replicate, and actions may introduce irreversible side effects or cross-trajectory interference. Existing generative world models avoid direct execution, but typically compress environment state into a single prompt, limiting their ability to reliably simulate transitions under partial observability. Instead, we introduce Agentic World Modeling (AWM), which reformulates next-observation prediction as a multi-turn evidence-acquisition task. For each hypothetical action, an agentic simulator adaptively queries the real environment through safe read-only interfaces, reasons over the returned evidence, and uses executable computation to construct the resulting observation without mutating shared state. Integrated with trajectory-level TTS, AWM enables parallel exploration over a single shared environment. Across $τ$-bench, AppWorld, and OfficeBench, AWM outperforms a single-shot simulation baseline by 40.07% on average, and surpasses a trained world-model baseline by 12.36% on average. These results establish interactive, read-grounded simulation as a practical foundation for safe and scalable agentic test-time scaling in shared, non-resettable environments.