World Narrative Model for Highly Controllable Video Generation: A Paradigm Shift from Pixel Sampling to Physical World Orchestration
作者: Ye Chen, Xuanhong Chen, Yupeng Zhu, Liming Tan, Zhewen Wan, Yuxuan Xiong, Tielong Wang, Jinfan Liu, Wuze Zhang, Xiongzhen Zhang, Feifei Li, Xianglin Luo, Zhehan Zhao, Zhifan Zhang, Laisheng Kou, Zhujing Liang, Yugang Chen, Muchun Chen, Xu Miao, Yijing Zhang, Xiaojie Sheng, Qiang Hu, Jialiang Chen, Weimin Zhang, Wenjun Zhang, Bingbing Ni
分类: cs.CV
发布日期: 2026-06-30
💡 一句话要点
提出世界叙事模型以解决视频生成可控性不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 可控性 物理叙事 多模态输入 预可视化 创作效率 模块化设计
📋 核心要点
- 现有视频生成模型将视频视为像素分布采样，缺乏对几何、运动和照明的可控性，导致创作效率低下。
- 论文提出世界叙事模型（WNM），通过解耦渲染内容与渲染方式，实现对视频生成的高效控制。
- 实验结果显示，WNM显著减少了随机性调用，生成的视频更符合创作者的意图，提升了创作效率。
📝 摘要（中文）
工业级视频生成的根本障碍在于缺乏可控性：现有模型将视频视为像素分布采样问题，忽视了明确的、实例级的4D物理世界。因此，内容创作者无法以确定性和定量的方式指定几何形状、运动、相机参数或照明，导致专业内容创作效率低下且成本高昂。为了解决这一问题，我们提出了世界叙事模型（WNM），该模型将渲染内容（结构化物理叙事）与渲染方式（像素生成过程）解耦。WNM用协调的4D预可视化替代了端到端的黑箱采样，支持将稀疏的多模态输入（如文本、参考视频和草图）转化为可编辑的世界表示。实验表明，WNM显著减少了概率性“抽卡”调用，生成的视频布局、运动和摄影效果更符合创作者意图。
🔬 方法详解
问题定义：论文要解决的问题是现有视频生成模型在可控性上的不足，尤其是在几何、运动和照明等方面的确定性控制缺失。现有方法往往将视频视为像素分布的采样问题，导致内容创作过程中的随机性和低效率。
核心思路：论文的核心解决思路是引入世界叙事模型（WNM），通过将渲染内容与渲染方式解耦，提供一种结构化的物理叙事表示，使创作者能够以定量的方式控制视频生成的各个方面。
技术框架：WNM的整体架构包括多个模块：首先，接收稀疏的多模态输入（如文本、参考视频和草图），然后通过协作代理将这些输入转化为可编辑的世界表示，最后驱动现有的视频基础模型生成最终视频。
关键创新：最重要的技术创新点在于WNM通过协调的4D预可视化替代了传统的黑箱采样方法，使得视频生成过程更加可控和高效。与现有方法相比，WNM提供了一种结构化的蓝图，确保生成内容符合创作者的意图。
关键设计：在关键设计方面，WNM采用了物理上有意义的粒度来表示场景几何、物体布局、角色运动和照明等，确保了生成内容的高质量和一致性。此外，模型的模块化设计允许各个组件独立改进，增强了系统的灵活性和扩展性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WNM显著减少了随机性“抽卡”调用，生成的视频在布局、运动和摄影效果上更符合创作者的意图。与基线模型相比，WNM在可控性和生成质量上均有显著提升，展示了其在专业内容创作中的实际价值。
🎯 应用场景
该研究的潜在应用领域包括电影制作、游戏开发和虚拟现实等，能够显著提高视频内容创作的效率和质量。通过提供可控的生成过程，创作者可以更好地实现其创意，降低制作成本，提升生产力。未来，该模型有望在更多领域得到应用，推动视频生成技术的发展。
📄 摘要（原文）
The fundamental obstacle to industrial grade video generation is the lack of controllability: existing models treat video as a pixel distribution sampling problem, bypassing the explicit, instance level $4D$ $(3D + T)$ physical world. Consequently, content creators cannot specify geometry, motion, camera parameters, or lighting in a deterministic, quantitative way, leading to the infamous ''gacha'' loop that makes professional content creation prohibitively inefficient and expensive. To address this, we introduce the World Narrative Model (WNM), a paradigm that decouples what to render -- the structured physical narrative -- from how to render -- the pixel generation process. WNM replaces end-to-end black-box sampling with orchestrated $4D$ pre-visualization for media generation. Collaborative agents translate sparse multimodal inputs, including text, reference videos, and sketches, into a fully editable world representation with scene geometry, object layouts, character/animal skeleton motion, trajectories, camera motion, and lighting at quantitative, physically meaningful granularity. This representation acts as a deterministic structural blueprint that drives existing video foundation models, either frozen or lightly adapted, to render final footage, turning the base model into a faithful neural shader. Built on this engine, our human-AI platform supports automatic world generation and pre-visualization aligned with professional filmmaking pipelines, while director consoles enable seamless human refinement. Experiments show that WNM greatly reduces probabilistic ``gacha'' calls and produces videos whose layout, motion, and cinematography closely follow creator intent. The framework is open and modular, allowing each component, such as world representation, control agents, and adapters, to be independently improved. Project website: https://glassroom.sjtu.edu.cn/WNM/.