verdi: retrieval is not transfer for continual world model optimization

📄 arXiv: 2608.09537v1 📥 PDF

作者: Junyu Wu, Shiqin Nie, Youyi Kou, Baohua Yin, Guocai Yao, Qingyu Chen, Jingheng Ma, Shiji Zhou, Hongyong Song, Mingchen Zhuge, Sen Cui, Changshui Zhang

分类: cs.AI

发布日期: 2026-08-10

备注: 28pages, 13figures,conference

💡 一句话要点

提出VERDI框架以解决世界模型优化中的知识转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 知识转移 优化指纹 验证机制 持续学习 智能系统 机器人控制

📋 核心要点

  1. 现有方法在优化预训练世界模型时，通常需要从头开始探索策略，导致知识转移困难。
  2. VERDI框架通过构建优化指纹和验证机制，确保策略在新模型上的有效性，从而实现知识的有效转移。
  3. 实验表明，VERDI在多个基准上显著降低了搜索成本和负转移率，提升了转移预测的准确性。

📝 摘要（中文）

基础世界模型在规划、仿真和具身智能方面取得了显著进展。然而，针对用户指定目标优化预训练世界模型仍然困难：每次优化通常需要从头开始重新发现策略，且知识转移效果不佳。现有研究将成功策略视为可直接重用的配方，缺乏对何时适合转移的原则性保障。本文提出VERDI，一个基于证据许可的持续世界模型优化框架，强调检索与转移的区别，构建优化指纹并通过验证机制提升知识的可重用性。实验结果显示，VERDI在多个任务上显著降低了搜索成本和负转移率。

🔬 方法详解

问题定义：本文旨在解决在世界模型优化中，知识转移不佳的问题。现有方法往往将成功策略视为可直接重用的配方，缺乏有效的验证机制，导致转移效果不理想。

核心思路：VERDI框架提出了检索与转移的区别，强调在新模型上验证策略的必要性。通过构建优化指纹和使用目标侧验证器，确保策略的有效性和可重用性。

技术框架：VERDI的整体架构包括三个主要模块：优化指纹构建、相关经验检索和候选策略验证。首先，通过共享推理时间探针构建每个模型的优化指纹；然后，检索相关的历史经验作为假设；最后，在目标侧验证器下验证每个候选策略。

关键创新：VERDI的核心创新在于将检索与转移区分开来，强调策略在新模型上的实验验证。这一方法与传统的直接重用策略的方式有本质区别。

关键设计：在设计上，VERDI使用了共享推理时间探针来构建优化指纹，并在验证过程中引入了冻结的目标侧验证器，以确保候选策略的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VERDI在Ctrl-World、Cosmos家族和RoboCoin任务中，搜索成本降低了68%，GPU成本降低了69%，负转移率从0.34降至0.06，同时转移结果的预测准确率达到83%。

🎯 应用场景

VERDI框架在多个领域具有广泛的应用潜力，尤其是在需要持续学习和优化的智能系统中，如机器人控制、自动驾驶和游戏AI等。通过有效的知识转移，VERDI能够提升模型在新任务上的适应能力和性能，推动智能系统的进一步发展。

📄 摘要（原文）

Foundation world models have made remarkable progress in planning, simulation, and embodied intelligence. However, optimizing a pretrained world model toward a user-specified objective remains difficult: each campaign typically rediscovers optimization strategies from scratch, and the resulting knowledge rarely transfers to the next model. Existing research agents automate the optimization loop but treat successful strategies as directly reusable recipes, without principled safeguards for when transfer is appropriate. We argue instead that retrieval is not transfer: a strategy validated on one model is at best an optimization hypothesis for another, and becomes transferable knowledge only after target-side experimental valida- tion. Guided by this principle, we propose VERDI , a continual framework for evidence-licensed world model optimization. VERDI characterizes each world model through shared inference-time probes to construct an Optimization Fin- gerprint, retrieves relevant prior experience as ranked hypotheses, and validates every candidate under a frozen target-side verifier before admitting it as reusable evidence; contradictions among nearby fingerprints further trigger probe evolution, continually refining the diagnostic representation itself. Experiments on Ctrl-World, the Cosmos family, and RoboCoin show that VERDI reduces search cost by 68%, GPU cost by 69%, and negative transfer from 0.34 to 0.06, while predicting transfer outcomes with 83% sign accuracy.