Holo-World: Unified Camera, Object and Weather Control for Video World Model

📄 arXiv: 2606.20083v1 📥 PDF

作者: Xiangchen Yin, Wenzhang Sun, Jiahui Yuan, Zijie Liu, Yinda Chen, Wei Li, Dachun Kai, Chunfeng Wang, Xiaoyan Sun

分类: cs.CV

发布日期: 2026-06-18

备注: Project Page: \url{https://xiangchenyin.github.io/Holo-World} Code: \url{https://github.com/XiangchenYin/Holo-World}

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Holo-World以解决视频世界模型中的控制孤立问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 天气控制 相机控制 物体控制 深度学习 计算机视觉 虚拟现实

📋 核心要点

  1. 现有的视频世界模型在相机、物体和天气控制方面存在孤立问题，难以实现统一的控制效果。
  2. 本文提出Holo-World模型，通过单幅图像实现相机、物体和天气的联合控制，解决了现有方法的局限性。
  3. 实验结果表明，Holo-World在天气状态生成方面优于现有的视频到视频天气编辑基线，展示了显著的性能提升。

📝 摘要（中文）

视频世界模型正朝着在可控的相机和物体运动下保留观察到的世界，同时允许环境状态变化的方向发展。然而，这些控制仍然是孤立的，天气生成通常依赖于已经指定未来结构的源视频或重建场景。本文研究了一种首帧锚定的源到状态设置，模型从单幅图像开始，遵循明确的相机和物体控制以及可选的天气指令，生成一个视频，该视频要么保留源世界，要么将其转移到目标天气状态。为了解决这些挑战，我们首先构建了HoloStateData，一个状态视频数据集，将多样的视频转化为相机、物体和天气监督的统一控制样本。其次，我们提出了Holo-World，一个统一的可控视频世界模型，从单幅图像共同控制场景。其统一场景适配器将世界保留和天气转移分解为不同的参数子空间，使用渲染背景、几何缓冲区和物体控制来保持受控场景结构，同时建模天气依赖的外观和粒子效果。定量和定性实验表明，Holo-World在保持精确的相机和物体控制的同时，能够将场景转移到多样的目标天气状态，超越了天气状态生成的基线。

🔬 方法详解

问题定义：本文旨在解决视频世界模型中相机、物体和天气控制的孤立问题。现有方法通常依赖于源视频或重建场景，难以实现灵活的天气状态生成。

核心思路：Holo-World模型通过从单幅图像出发，结合明确的相机、物体控制和天气指令，实现了对场景的统一控制。该模型的设计旨在分解世界保留和天气转移的参数，从而提高生成视频的质量和一致性。

技术框架：Holo-World的整体架构包括HoloStateData数据集、统一场景适配器和场景-天气分解CFG模块。数据集提供了多样的控制样本，适配器负责场景结构的保持，而CFG模块则引导天气效果的生成。

关键创新：Holo-World的主要创新在于其统一的控制机制，能够将相机、物体和天气的控制整合到一个模型中，显著提升了生成视频的灵活性和质量。

关键设计：模型采用了渲染背景、几何缓冲区和物体控制等技术细节，确保了场景结构的稳定性。同时，使用了场景-天气分解CFG来分别处理场景和天气残差，避免了过度放大条件的风险。

📊 实验亮点

实验结果显示，Holo-World在天气状态生成方面超越了现有的基线方法，具体表现为在多种天气条件下生成视频的准确性和一致性显著提高。定量评估表明，模型在天气效果的生成上具有明显的性能提升，具体提升幅度未知。

🎯 应用场景

Holo-World模型在虚拟现实、电影制作和游戏开发等领域具有广泛的应用潜力。通过实现对视频内容的精确控制，能够为用户提供更高质量的视觉体验，并推动相关技术的发展。未来，该模型还可能在自动驾驶、环境模拟等领域发挥重要作用。

📄 摘要（原文）

Video world models are moving toward preserving an observed world under controllable camera and object motion while allowing its environmental state to change. Yet these controls remain isolated, and weather generation typically relies on a source video or reconstructed scene that already specifies future structure. We study a first-frame-anchored source-to-state setting, where the model starts from a single image and follows explicit camera and object controls and an optional weather instruction, then generates a video that either preserves the source world or transfers it to a target weather state. To address these challenges, we first build HoloStateData, a state video dataset that turns diverse videos into unified control samples for camera, object, and weather supervision. Second, we introduce Holo-World, a unified controllable video world model that jointly controls scene from a single image. Its Unified Scene Adapter factorizes world preservation and weather transfer into distinct parameter subspaces, using rendered background, geometry buffers, and object controls to maintain controlled scene structure while modeling weather-dependent appearance and particle effects. Additionally, Scene-Weather Decomposed CFG guides scene and weather residuals separately, strengthening target weather effects without over-amplifying the full condition. Quantitative and qualitative experiments demonstrate that Holo-World maintains precise camera and object control with consistent scene structure while transferring scenes into diverse target weather state, outperforming video-to-video weather editing baselines on weather-state generation. Our project page is available at \url{https://xiangchenyin.github.io/Holo-World/}.