WorldDynCache: Risk-Controlled Latent Dynamics Approximation for Diffusion World Model

📄 arXiv: 2608.01845v1 📥 PDF

作者: Leyang Chen, Junyi Wu, Shaoqiu Zhang, Yulun Zhang

分类: cs.LG, cs.CV

发布日期: 2026-08-03

💡 一句话要点

提出WorldDynCache以解决扩散世界模型推理速度慢的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散模型 潜在动态 风险控制 生成模型 推理速度

📋 核心要点

  1. 现有的扩散世界模型在推理时需要重复评估变换器，导致推理速度极慢，影响实际应用。
  2. 本文提出WorldDynCache框架，通过轻量级风险估计器和条件感知的潜在代理来近似潜在动态，减少计算开销。
  3. 实验结果显示，WorldDynCache在多个基准上实现了显著的速度提升，同时保持了最佳的生成质量。

📝 摘要（中文）

扩散世界模型能够生成高质量的未来预测，但由于需要重复评估变换器，推理速度极慢。现有的缓存方法通过重用中间特征、选择性更新标记或根据局部漂移和短期历史重用和外推去噪输出来提高效率。然而，这些方法可能会忽略由于跳过步骤而累积的近似引起的潜在过渡缺陷，以及潜在演化方向的相位或条件依赖性变化。为此，本文提出了WorldDynCache，一个风险控制的潜在动态近似框架，包含两个核心组件：轻量级潜在过渡风险估计器和条件及相位感知的潜在代理。实验表明，WorldDynCache在HunyuanVoyager-13B和Aether-5B上分别实现了4.92倍和2.15倍的速度提升，同时在生成质量上超越了其他缓存方法。

🔬 方法详解

问题定义：本文旨在解决扩散世界模型推理过程中的速度瓶颈问题。现有方法在推理时需要多次评估变换器，导致效率低下，且可能忽略潜在过渡缺陷的累积效应。

核心思路：WorldDynCache通过引入风险控制的潜在动态近似，利用轻量级的风险估计器来跟踪近似缺陷的影响，并通过条件感知的潜在代理来避免额外的变换器评估，从而提高推理效率。

技术框架：该框架主要包括两个模块：潜在过渡风险估计器和条件感知的潜在代理。前者用于评估近似缺陷的影响，后者用于在不增加计算负担的情况下近似潜在演化。

关键创新：最重要的创新在于引入了风险控制机制，通过对比观察到的反事实缺陷来校准预测，从而有效减少了近似引起的潜在过渡缺陷。

关键设计：在设计中，采用了轻量级的网络结构以降低计算复杂度，同时在损失函数中引入了对潜在过渡风险的惩罚项，以确保生成质量和推理速度的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HunyuanVoyager-13B和Aether-5B的实验中，WorldDynCache分别实现了4.92倍和2.15倍的速度提升，且在生成质量上超越了其他缓存方法，显示出其在效率和效果上的显著优势。

🎯 应用场景

WorldDynCache的研究成果在生成模型、机器人控制和虚拟现实等领域具有广泛的应用潜力。通过提高推理速度，该方法能够支持实时决策和交互，推动智能系统的实际应用和发展。

📄 摘要（原文）

Diffusion world models generate high-quality futures, but re- peated transformer evaluations make inference prohibitively slow. Existing caches reuse intermediate features, selectively update tokens, or reuse and extrapolate denoising outputs ac- cording to local drift or short native-space histories. These criteria can miss both approximation-induced latent transition defects that accumulate across skipped steps and phase- or condition-dependent changes in the direction of latent evo- lution. We propose WorldDynCache, a risk-controlled latent dynamics approximation framework with two core compo- nents. First, a lightweight latent-transition risk estimator tracks the accumulated future impact of approximation defects and calibrates its predictions against counterfactual defects ob- served at exact anchors. Second, a condition- and phase- aware lifted latent surrogate approximates latent evolution without extra transformer evaluations. On HunyuanVoyager- 13B and Aether-5B, WorldDynCache achieves 4.92 times and 2.15 times speedups, respectively, while attaining the best gen- eration quality among the compared caching methods across WorldScore, PSNR, SSIM, and LPIPS.