CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation
作者: Sharath Girish, Tsai-Shien Chen, Zhikang Dong, Mukesh Singhal, Hao Chen, Sergey Tulyakov, Aliaksandr Siarohin
分类: cs.CV, cs.AI
发布日期: 2026-06-11
备注: Project page: https://snap-research.github.io/CineOrchestra
💡 一句话要点
提出CineOrchestra以解决多维度视频生成控制问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成 多主体控制 时间管理 镜头切换 实体中心条件 深度学习 计算机视觉
📋 核心要点
- 现有视频生成模型在多主体控制、时间管理和镜头切换等方面存在局限，无法实现细粒度的综合控制。
- CineOrchestra通过引入实体中心条件原语，统一控制多个维度的电影元素，简化了模型架构的复杂性。
- 在新基准测试中，CineOrchestra在密集字幕跟随和镜头切换时机上超越了六个单轴模型，用户研究显示其表现一致优于对比模型。
📝 摘要（中文）
电影视频描绘了多个主体在特定时刻的行为或互动，伴随精心设计的镜头运动和镜头切换。这些元素要求比现有文本到视频模型更细致的控制。现有研究通常孤立地解决多主体个性化、时间控制、多镜头合成或相机控制等问题，而缺乏一个框架同时整合这四个方面。本文提出CineOrchestra，一个统一的视频扩散模型，能够同时控制主体、事件、相机和镜头切换。我们的关键见解是，这些异质的电影元素共享一个基本结构：每个元素都是在特定时间间隔内活动的实体，因此可以通过共享的实体中心条件原语来表达，并通过参考图像增强视觉实体的表现。该方法将架构挑战简化为单一的位置信息编码问题，并通过两个无参数的协调旋转嵌入解决：时间间隔采样的RoPE和二维实体-时间交叉注意力RoPE。CineOrchestra在两个新基准上超越了六个单轴专家，在密集字幕跟随和镜头切换时机上均表现出一致的优势。
🔬 方法详解
问题定义：本文旨在解决现有视频生成模型在多主体、时间控制、镜头切换等方面的不足，现有方法通常只能单独处理这些维度，缺乏综合性解决方案。
核心思路：CineOrchestra的核心思想是将所有异质的电影元素视为在特定时间间隔内活动的实体，通过共享的实体中心条件原语来统一表达，从而简化模型的设计和实现。
技术框架：CineOrchestra的整体架构包括两个主要模块：首先是时间间隔采样的RoPE，用于确保在不同事件持续时间下的一致注意力行为；其次是二维实体-时间交叉注意力RoPE，用于消歧每个实体的条件并将其路由到相应的时空区域。
关键创新：CineOrchestra的主要创新在于其将多维度控制整合为一个统一的框架，利用实体中心条件原语和无参数的旋转嵌入技术，显著提升了视频生成的灵活性和准确性。
关键设计：在设计上，CineOrchestra采用了无参数的协调旋转嵌入，解决了位置编码问题，并通过参考图像增强了视觉实体的表现，确保了模型在处理复杂场景时的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
CineOrchestra在两个新基准测试中表现优异，相较于六个单轴专家模型，在密集字幕跟随和镜头切换时机上均有显著提升。在用户研究中，CineOrchestra的表现获得了一致的好评，显示出其在实际应用中的优势。
🎯 应用场景
CineOrchestra的研究成果在电影制作、游戏开发和虚拟现实等领域具有广泛的应用潜力。通过提供更精细的控制能力，该模型能够帮助创作者生成更具沉浸感和叙事性的动态视频内容，提升观众的体验和参与感。未来，该技术可能会推动视频生成领域的进一步发展，促进多媒体内容创作的自动化和智能化。
📄 摘要（原文）
Cinematic video depicts multiple subjects acting or interacting at specific moments, captured with deliberate camera movement, and stitched together by shot transitions. Together, these elements demand a level of fine-grained control beyond current text-to-video models. Existing work addresses each axis in isolation: multi-subject personalization, temporal control, multi-shot synthesis, or camera control; no prior framework jointly integrates all four. We present CineOrchestra, a unified video diffusion model that controls subjects, events, cameras, and shot transitions simultaneously. Our key insight is that these heterogeneous cinematic elements share a fundamental structure: each is an entity acting over a specific temporal interval, which can therefore all be expressed through one shared structure of entity-centric conditioning primitives, augmented with reference images for visual entities. This formulation reduces the architectural challenge to a single positional encoding problem, which we solve with two parameter-free coordinated rotary embeddings: (a) an interval-sampled temporal RoPE that yields consistent attention behavior across events of dramatically varying duration, and (b) a 2D entity-temporal cross-attention RoPE that disambiguates per-entity conditions and routes each to its corresponding spatiotemporal region. On two new benchmarks, CineOrchestra outperforms six per-axis specialists on dense caption following and shot-transition timing, with consistent gains in a pairwise user study and component ablations.