Self-Evolving World Models for LLM Agent Planning
作者: Xuan Zhang, Wenxuan Zhang, See-Kiong Ng, Yang Deng
分类: cs.AI, cs.CL
发布日期: 2026-06-29
💡 一句话要点
提出自演化世界模型以提升LLM代理规划能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 自演化 长时间跨度 预测准确性 智能代理 决策优化 机器学习 机器人技术
📋 核心要点
- 现有世界模型在提供行动后果预测时，常常面临不可靠性的问题，导致决策效果下降。
- 本文提出的WorldEvolver框架通过自演化机制，动态修正上下文信息，提升预测准确性。
- 实验结果显示，WorldEvolver在多个基准测试中表现优异，成功率和预测准确性均显著提升。
📝 摘要（中文）
世界模型为长时间跨度的LLM代理提供了一种系统化的前瞻能力，能够在执行前预测行动后果。然而，不可靠的前瞻能力可能被忽视、误用，甚至降低下游决策的效果。本文提出了WorldEvolver，一个自演化的世界模型框架，能够在保持下游代理和所有模型参数不变的情况下修正其部署时的上下文。WorldEvolver集成了三个模块：情节记忆，通过基于检索的模拟利用真实行动转变；语义记忆，从预测与观察不匹配中提取持久的启发式规则；选择性前瞻，过滤低置信度的预测再整合入代理推理上下文。我们在ALFWorld和ScienceWorld上评估WorldEvolver，测量其在Word2World上的世界模型预测准确性及在AgentBoard上的下游代理成功率。大量实验表明，WorldEvolver在三个基础模型上实现了最高的预测准确性，并在下游代理成功率上领先其他世界模型基线，证明了测试时记忆修正提升了预测的可靠性和规划性能。
🔬 方法详解
问题定义：本文旨在解决现有世界模型在长时间跨度的决策过程中，因不可靠的前瞻能力而导致的决策效果下降的问题。现有方法往往无法有效利用真实行动转变，导致预测不准确。
核心思路：WorldEvolver通过自演化机制，动态修正模型的上下文信息，保持下游代理和模型参数不变，从而提升预测的可靠性和决策的有效性。
技术框架：WorldEvolver框架包含三个主要模块：情节记忆、语义记忆和选择性前瞻。情节记忆利用真实行动转变进行检索式模拟，语义记忆提取持久的启发式规则，而选择性前瞻则过滤低置信度的预测。
关键创新：最重要的创新在于引入了自演化机制，使得模型能够在部署时根据实际情况动态调整上下文信息，这与传统静态模型形成了鲜明对比。
关键设计：在模型设计中，情节记忆模块采用检索式模拟方法，语义记忆模块则通过分析预测与观察的差异提取规则，选择性前瞻模块则设定了置信度阈值，以确保只有高置信度的预测被纳入决策过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WorldEvolver在三个基础模型上实现了最高的预测准确性，成功率在下游任务中超过了其他基线模型，具体提升幅度达到XX%。这一成果证明了自演化机制在提升模型性能方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、游戏AI等，能够显著提升这些系统在复杂环境中的决策能力。通过增强模型的预测能力，未来可能推动更智能的自主系统的发展，提升其在动态环境中的适应性和效率。
📄 摘要（原文）
World models offer a principled way to equip long-horizon LLM agents with foresight: predictions of action consequences before execution. However, unreliable foresight can be ignored, misused, or even degrade downstream decision-making. In this paper, we introduce WorldEvolver, a self-evolving world model framework that revises its deployment-time context while keeping the downstream agent and all model parameters frozen. WorldEvolver integrates three modules: (i) Episodic Memory, which exploits real action transitions through retrieval-based simulation; (ii) Semantic Memory, which extracts persistent heuristic rules from prediction-observation mismatches; and (iii) Selective Foresight, which filters low-confidence predictions before integrating them into agent reasoning context. We evaluate WorldEvolver on ALFWorld and ScienceWorld, measuring world model prediction accuracy on Word2World and downstream agent success rate on AgentBoard. Extensive experiments show that WorldEvolver achieves the highest prediction accuracy across three backbones and leads other world model baselines on downstream agent success rate, demonstrating that test-time memory revision enhances both predictive fidelity and planning performance.