QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers

📄 arXiv: 2607.01869 📥 PDF

作者: Kyobin Choo, Youngmin Kim, Hyunkyung Han, Geunrip Park, Chanyoung Kim, Sunyoung Jung, Seong Jae Hwang

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出QWERTY框架以实现无训练的运动控制

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 视频生成 运动控制 无训练方法 扩散变换器 自我引导 光流计算 对象扭曲

📋 核心要点

  1. 现有视频扩散变换器在运动控制上依赖文本提示，导致控制效果不佳且需要大量的提示工程。
  2. QWERTY框架通过用户定义的对象扭曲和光流，实现了无训练的灵活运动控制，避免了数据整理和计算负担。
  3. 实验结果显示，QWERTY在运动控制方面的效果优于现有无训练方法，且与微调方法的性能相当。

📝 摘要（中文）

视频扩散变换器（DiTs）能够生成高保真且时间一致的视频，但运动控制仍然是隐式的，主要依赖文本提示。因此，实现所需的运动通常需要大量的提示工程和重复重采样。尽管通过额外的空间提示（如边界框或点轨迹）微调模型可以实现显式控制，但这需要大量的数据整理和计算，并可能损害预训练模型的生成能力。本文提出QWERTY，一个无训练的框架，通过用户定义的对象扭曲和光流，灵活地控制预训练的图像到视频DiTs的运动。我们发现，扭曲后的DiT预测的噪声自然引导扩散轨迹朝向所需运动，并进一步表明利用该噪声作为潜在优化的自我引导可以提高控制稳定性和视觉质量。实验表明，QWERTY在最近的图像到视频DiT上实现了现有无训练方法中最有效的运动控制，性能可与基于微调的方法相媲美。

🔬 方法详解

问题定义：本文旨在解决视频扩散变换器在运动控制上的局限性，现有方法主要依赖文本提示，导致运动控制效果不佳且需要大量的提示工程。

核心思路：QWERTY框架通过用户定义的对象扭曲和光流，实现了无训练的运动控制，利用扭曲后的查询引导扩散轨迹，提升控制的稳定性和视觉质量。

技术框架：该框架主要包括三个模块：用户定义的对象扭曲模块、光流计算模块和基于查询的噪声引导模块，整体流程为：输入视频 → 对象扭曲 → 计算光流 → 噪声引导扩散。

关键创新：QWERTY的核心创新在于通过扭曲查询的方式，直接在预训练的DiTs中实现运动控制，而不需要额外的训练或数据整理，这与传统的微调方法本质上有所区别。

关键设计：在设计中，采用了3D全注意力机制来处理查询的扭曲，确保生成的噪声能够有效引导扩散过程，此外，还优化了潜在空间的自我引导机制，以提高控制的稳定性和视觉效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QWERTY在运动控制方面的表现优于现有的无训练方法，具体而言，其控制效果在多个基准测试中均显示出显著提升，性能与基于微调的方法相当，证明了其有效性和实用性。

🎯 应用场景

QWERTY框架在视频生成和运动控制领域具有广泛的应用潜力，尤其适用于动画制作、虚拟现实和游戏开发等场景。其无训练的特性使得用户能够快速实现高质量的视频生成，降低了技术门槛，未来可能推动相关领域的创新与发展。

📄 摘要（原文）

Video diffusion transformers (DiTs) generate high-fidelity and temporally coherent videos, yet motion control remains implicit, primarily relying on text prompts. As a result, achieving desired motion often requires extensive prompt engineering and repeated resampling. While fine-tuning models with additional spatial prompts (e.g., bounding boxes or point trajectories) enables explicit control, it demands substantial data curation and computation, and may compromise the generative capabilities of pretrained models. Consequently, training-free motion control using such spatial prompts has been explored in U-Net-based video diffusion models, but remains largely unexplored for DiTs. We introduce QWERTY, a training-free framework that enables flexible motion control in pretrained image-to-video DiTs via user-defined object warping and optical flow. We carefully manipulate the 3D full attention of DiTs by warping the frame-invariant semantic subspace of queries. We find that the noise predicted by the query-warped DiT naturally guides the diffusion trajectory toward the desired motion, and further show that leveraging this noise as self-guidance for latent optimization improves control stability and visual quality. Experiments show that QWERTY achieves the most effective motion control among existing training-free approaches on a recent image-to-video DiT, with performance comparable to fine-tuning-based methods.