QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers
作者: Kyobin Choo, Youngmin Kim, Hyunkyung Han, Geunrip Park, Chanyoung Kim, Sunyoung Jung, Seong Jae Hwang
分类: cs.CV
发布日期: 2026-07-02
备注: 37 pages, 18 figures, accepted at the European Conference on Computer Vision (ECCV) 2026
💡 一句话要点
提出QWERTY框架以实现无训练的运动控制
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 视频扩散变换器 运动控制 无训练方法 对象变形 光流 生成模型 计算机视觉
📋 核心要点
- 现有的视频扩散变换器在运动控制方面依赖文本提示，导致实现所需运动时需要大量的提示工程和重采样。
- QWERTY框架通过用户定义的对象变形和光流，实现了在预训练DiTs中灵活的运动控制，无需额外训练。
- 实验结果显示，QWERTY在运动控制方面的效果优于现有的无训练方法，其性能接近于微调方法。
📝 摘要（中文）
视频扩散变换器（DiTs）能够生成高保真且时间一致的视频，但运动控制仍然是隐式的，主要依赖文本提示。这导致实现所需运动常常需要大量的提示工程和重复重采样。虽然通过额外的空间提示（如边界框或点轨迹）微调模型可以实现显式控制，但这需要大量的数据整理和计算，并可能损害预训练模型的生成能力。因此，利用空间提示进行无训练的运动控制在基于U-Net的视频扩散模型中有所探索，但在DiTs中仍然很少被研究。我们提出了QWERTY，一个无训练的框架，通过用户定义的对象变形和光流，在预训练的图像到视频DiTs中实现灵活的运动控制。我们仔细操控DiTs的3D全注意力，通过变形查询的帧不变语义子空间来实现。我们发现，查询变形的DiT预测的噪声自然引导扩散轨迹朝向所需运动，并进一步表明利用这种噪声作为潜在优化的自我引导可以提高控制的稳定性和视觉质量。实验表明，QWERTY在最近的图像到视频DiT上实现了现有无训练方法中最有效的运动控制，其性能可与基于微调的方法相媲美。
🔬 方法详解
问题定义：本论文旨在解决视频扩散变换器在运动控制中的局限性，现有方法主要依赖文本提示，导致运动控制的灵活性不足，且需要大量的提示工程和重采样。
核心思路：QWERTY框架的核心思想是通过用户定义的对象变形和光流实现无训练的运动控制，利用查询的变形来操控DiTs的3D全注意力，从而实现更灵活的运动控制。
技术框架：该框架包括两个主要模块：对象变形模块和光流模块。对象变形模块负责根据用户输入对视频中的对象进行变形，而光流模块则用于计算运动轨迹，确保生成视频的时间一致性。
关键创新：QWERTY的创新在于其无训练的运动控制能力，通过操控查询的帧不变语义子空间，利用预测的噪声引导扩散轨迹，从而实现更高的控制稳定性和视觉质量。与现有方法相比，QWERTY不需要额外的训练过程，降低了计算成本。
关键设计：在设计中，QWERTY采用了特定的损失函数来优化运动控制的稳定性，并通过调整网络结构来增强对查询变形的响应能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，QWERTY在运动控制方面的表现优于现有的无训练方法，具体而言，其性能与基于微调的方法相当。通过对比实验，QWERTY在控制稳定性和视觉质量上均实现了显著提升，展示了其在实际应用中的有效性。
🎯 应用场景
QWERTY框架具有广泛的应用潜力，尤其在动画制作、游戏开发和虚拟现实等领域。其无训练的运动控制能力可以显著降低开发成本，提高创作效率，为用户提供更灵活的创作工具。此外，该技术的未来发展可能推动更复杂的动态场景生成和交互式内容创作。
📄 摘要（原文）
Video diffusion transformers (DiTs) generate high-fidelity and temporally coherent videos, yet motion control remains implicit, primarily relying on text prompts. As a result, achieving desired motion often requires extensive prompt engineering and repeated resampling. While fine-tuning models with additional spatial prompts (e.g., bounding boxes or point trajectories) enables explicit control, it demands substantial data curation and computation, and may compromise the generative capabilities of pretrained models. Consequently, training-free motion control using such spatial prompts has been explored in U-Net-based video diffusion models, but remains largely unexplored for DiTs. We introduce QWERTY, a training-free framework that enables flexible motion control in pretrained image-to-video DiTs via user-defined object warping and optical flow. We carefully manipulate the 3D full attention of DiTs by warping the frame-invariant semantic subspace of queries. We find that the noise predicted by the query-warped DiT naturally guides the diffusion trajectory toward the desired motion, and further show that leveraging this noise as self-guidance for latent optimization improves control stability and visual quality. Experiments show that QWERTY achieves the most effective motion control among existing training-free approaches on a recent image-to-video DiT, with performance comparable to fine-tuning-based methods.