WorldProbe: When Video World Models Fall Apart under Long-Horizon Spatial Exploration
作者: Minqi Wang, Jie Peng, Hejun Dong, Ruchang Yao, Puyi Wang, Siyuan Huang, Jihai Zhang, Yafu Li, Qi Dou, Xiaoye Qu, Yu Cheng
分类: cs.CV
发布日期: 2026-10-29
备注: 19 pages, 9 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出WorldProbe以解决长时间空间探索中的视频世界模型问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频世界模型 长时间探索 多模态智能体 动态相机调整 生成模型评估 局部稳定性 全局一致性
📋 核心要点
- 现有视频世界模型在长时间探索和复杂相机运动下的性能评估不足，导致局部稳定性与全局一致性之间的矛盾未被充分揭示。
- 本文提出WorldProbe基准，通过目标条件的多模态智能体在线调整相机动作，提供更全面的性能评估。
- 实验结果显示，尽管新模型在视觉和内容质量上表现更好，但在长距离记忆和演变方面仍然存在不足。
📝 摘要（中文）
视频世界模型旨在通过相机或动作输入生成未来的视觉观察，合成可跨时间和空间探索的持久3D世界。然而，现有基准通常评估短期交互或依赖于生成前固定的相机轨迹，导致在长时间探索和广泛相机运动下的性能未得到充分探讨。为此，本文引入WorldProbe，一个诊断基准，利用目标条件的多模态智能体在生成过程中在线调整相机动作。WorldProbe包含164个测试案例，涵盖四个探测家族。通过对10个最先进模型的评估，我们生成了超过1600个回放，总计约800分钟，探索时间长达180秒。评估结果揭示了局部度量的退化和长距离不一致的出现，表明现有基准未能充分捕捉局部稳定生成与持久世界一致性之间的差距。
🔬 方法详解
问题定义：本文旨在解决现有视频世界模型在长时间空间探索中的性能不足，特别是在复杂相机运动下的局部稳定性与全局一致性之间的矛盾。现有方法通常依赖于短期交互和固定相机轨迹，未能充分评估长时间探索的效果。
核心思路：论文提出WorldProbe基准，利用目标条件的多模态智能体在生成过程中动态调整相机动作，从而更真实地模拟长时间探索场景。通过这种设计，能够更好地捕捉模型在长时间生成中的表现。
技术框架：WorldProbe的整体架构包括四个主要模块：目标条件智能体、相机动作调整、生成模型评估和结果分析。智能体根据目标动态调整相机位置，生成模型则负责创建视觉输出，最后通过评估模块分析生成结果的稳定性与一致性。
关键创新：最重要的技术创新在于引入了动态相机动作调整机制，使得模型能够在生成过程中适应不同的探索目标，从而提升了长时间生成的准确性和一致性。这一方法与传统的固定相机轨迹生成方式有本质区别。
关键设计：在模型设计中，关键参数包括智能体的目标条件设置、相机动作的调整策略以及生成模型的损失函数。通过优化这些参数，确保了生成结果在视觉质量和内容一致性上的提升。具体的网络结构和损失函数设计细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管新模型在视觉和内容质量上表现更好，但在长距离记忆和演变方面仍然存在不足。具体而言，评估显示局部度量的退化和长距离不一致的出现，揭示了现有基准未能充分捕捉的局部稳定生成与持久世界一致性之间的差距。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、机器人导航和自动驾驶等。通过提升视频世界模型在长时间探索中的表现，能够为这些领域提供更为稳定和一致的环境建模，进而改善用户体验和系统性能。未来，随着技术的进步，WorldProbe可能成为评估和优化视频生成模型的重要工具。
📄 摘要（原文）
Video world models generate future visual observations from camera or action inputs, with the goal of synthesizing persistent 3D worlds that can be explored across time and space. Existing benchmarks typically evaluate short interactions or rely on camera trajectories fixed before generation. The performance of video world models under long-horizon exploration with extensive camera motion remains under-explored. We introduce WorldProbe, a diagnostic benchmark that uses a goal-conditioned multimodal agent to adapt camera actions online during generation. WorldProbe comprises 164 test cases across four probing families. Across 10 state-of-the-art models, we generate more than 1,600 rollouts totaling approximately 800 minutes, with horizons up to 180 seconds. Our evaluation across four dimensions reveals both the degradation of local measures and the emergence of long-range inconsistencies. We find that recent models sustain visual and content quality for longer, while long-range memory and evolution remain weak. These results expose a gap between locally stable generation and persistent world consistency that is largely missed by existing benchmarks. Code and benchmark resources are available at https://github.com/Untitled-W/WorldProbe.