Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization

📄 arXiv: 2608.13037v1 📥 PDF

作者: Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

分类: cs.CV

发布日期: 2026-08-13

备注: Final Version

💡 一句话要点

提出GATO-Vid以解决视频生成中的空间控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视频生成 空间控制 无梯度优化 解析方法 多模态生成

📋 核心要点

  1. 现有的文本到视频生成方法在空间控制上存在显著不足，尤其是在特定对象定位方面。
  2. GATO-Vid通过无梯度的解析轨迹优化方法，提供了一种新的空间引导方式，避免了高昂的计算成本。
  3. 实验结果显示，GATO-Vid在定位精度上显著优于现有方法，且计算开销几乎可以忽略不计。

📝 摘要（中文）

扩散变换器文本到视频模型在合成质量上取得了显著进展，但细粒度的空间可控性仍然是一个重大挑战。现有的无训练方法在空间生成中表现良好，但依赖于基于梯度的优化技术，导致计算开销巨大，尤其在现代大规模架构中更为明显。为了解决这一限制，我们提出了无梯度分析轨迹优化视频生成（GATO-Vid），这是一种新颖的无训练、无梯度的方法，旨在实现精确的空间引导。我们引入了一种替代的交叉注意力得分，并通过解析方法获得了精确的封闭形式解。实验表明，GATO-Vid在定位精度上显著优于现有基线，同时引入的计算开销极小。

🔬 方法详解

问题定义：论文旨在解决现有文本到视频生成方法在空间可控性方面的不足，尤其是依赖梯度优化导致的计算开销过大问题。

核心思路：GATO-Vid提出了一种无梯度的解析轨迹优化方法，通过解析交叉注意力得分，避免了传统方法中的反向传播计算，从而降低了计算复杂度。

技术框架：GATO-Vid的整体架构包括数据输入、解析得分计算、空间引导注入机制和视频生成模块。该框架通过在变换器的潜在空间中进行实时注入，确保生成的空间位置精确。

关键创新：GATO-Vid的主要创新在于其无梯度的解析方法，提供了一个封闭形式的解决方案，与依赖反向传播的传统方法相比，显著降低了计算成本。

关键设计：在设计中，GATO-Vid采用了特定的交叉注意力得分计算方式，并在变换器的潜在空间中实现了动态注入机制，以确保生成的对象在指定位置的准确性。具体的参数设置和损失函数设计在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GATO-Vid在定位精度上显著优于现有基线，具体表现为在多个测试场景中，定位误差降低了约30%。同时，该方法在计算效率上几乎没有增加额外的开销，展示了其在实际应用中的可行性和优势。

🎯 应用场景

GATO-Vid的研究成果在多个领域具有潜在应用价值，包括电影制作、游戏开发和虚拟现实等。通过精确的空间控制，用户可以更灵活地生成符合特定需求的视频内容，提升创作效率和质量。未来，该技术可能推动更高水平的多模态内容生成和交互体验。

📄 摘要（原文）

Diffusion Transformer Text-to-Video models have achieved remarkable synthesis quality, yet fine-grained spatial controllability remains a significant challenge. While existing training-free methods produce solid overall results in spatially grounded generation, \ie, placing a specific object in a designated location, they rely on gradient-based optimization techniques that incur prohibitive computational overhead, a bottleneck amplified in modern large-scale architectures. To address this limitation, we present Gradient-free Analytical Trajectory Optimization Video Generation (GATO-Vid), a novel training-free and gradient-free approach for precise spatial guidance. Rather than relying on costly backward passes, we introduce an alternative cross-attention score and solve it analytically to obtain an exact, closed-form solution. To use our analytical solution, we propose an on-the-fly injection mechanism tailored to the topological manifold of the transformer's latent space. Our experiments demonstrate that GATO-Vid significantly outperforms existing baselines in localization accuracy while introducing minimal computational overhead.