Generating Critic-Guided Synthetic Experience in Latent World Models
作者: Jorge de Freitas, Christos Ziakas, Alessandra Russo
分类: cs.LG, cs.AI
发布日期: 2026-10-29
💡 一句话要点
提出CGSE方法以提升离线策略的合成经验生成
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 合成经验 评论者指导 离线学习 世界模型 策略优化 机器人控制 动态模型
📋 核心要点
- 现有的离线学习方法在经验收集上受限，尤其是在真实环境中收集新经验的成本和风险较高。
- 本文提出了一种新方法CGSE，通过评论者指导生成合成经验，优化离线数据集的使用，提升策略学习效果。
- 在三个OGBench操作任务中，CGSE方法相较于基线策略，平均成功率提高了7.1%，显示出显著的性能提升。
📝 摘要（中文）
在离线数据集学习中，收集新经验往往成本高昂或不安全。世界模型提供了一种通过学习的动态模型生成新经验的替代方案，但在潜在空间中学习策略时，由于想象回放中的累积误差，效果受到限制。为此，本文提出利用世界模型作为局部转移生成器，结合评论者指导选择动作以生成合成经验。我们引入了评论者指导的合成经验（CGSE）生成方法，通过使用离线策略采样候选动作，并在信任区域内优化每个动作以最大化$Q$-函数的一阶近似。我们在三个OGBench操作任务上验证了CGSE方法，相较于基线，平均成功率提高了7.1%。
🔬 方法详解
问题定义：本文旨在解决在离线数据集上学习策略时，由于想象回放中的累积误差导致的性能限制。现有方法在生成新经验时，往往依赖真实环境的交互，成本高且风险大。
核心思路：论文提出利用世界模型作为局部转移生成器，结合评论者的指导来选择动作，从而生成合成经验。这种方法避免了额外的真实环境交互，能够在离线环境中有效生成新经验。
技术框架：整体架构包括三个主要模块：首先，使用离线策略采样候选动作；其次，在信任区域内优化每个动作以最大化$Q$-函数的一阶近似；最后，利用冻结的潜在世界模型想象未来状态，并通过评论者选择最佳动作，将合成转移添加到重放缓冲区。
关键创新：最重要的技术创新在于引入了评论者指导的合成经验生成（CGSE），通过优化候选动作来提升策略学习效果。这一方法与传统的依赖真实环境交互的策略学习方法有本质区别。
关键设计：在实现中，关键设计包括选择合适的信任区域、优化算法的选择，以及如何有效地冻结潜在世界模型以进行状态想象。这些设计确保了生成的合成经验能够有效地提升策略性能。
🖼️ 关键图片
📊 实验亮点
在实验中，CGSE方法在三个OGBench操作任务上相较于基线策略，平均成功率提高了7.1%。这一结果表明，利用评论者指导生成合成经验能够显著提升离线策略的学习效果，具有重要的实用价值。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和游戏AI等领域，能够在不依赖真实环境交互的情况下，利用合成经验提升策略学习的效率和安全性。未来，这种方法可能会推动更多安全和高效的AI系统的开发，尤其是在高风险环境中的应用。
📄 摘要（原文）
Learning from offline datasets is limited in scalability, as collecting new experience is often costly or unsafe in the real world. World models offer an alternative way to generate new experience through a learned dynamics model, yet learning policies in latent space is limited due to compounding errors in imagined rollouts. To this end, we propose using the world model as a local transition generator, leveraging critic guidance to choose actions inside that model to generate synthetic experiences. We study action refinement methodologies, introducing Critic-Guided Synthetic Experience (CGSE) generation in world models. Specifically, CGSE augments an existing offline dataset by sampling candidate actions using an offline policy and refining each to maximize a first-order approximation of the $Q$-function within a trust region. We then use a frozen latent world model to imagine the future state given each updated action, and use the critic to choose the best one, appending this synthetic transition to the replay buffer. Our method requires no additional real-environment interaction or test-time planner, as it generates synthetic experience offline using the world model. On three OGBench manipulation tasks, CGSE improves an offline policy by a relative improvement of $7.1\%$ on the average success rate.