Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

📄 arXiv: 2608.18484v1 📥 PDF

作者: Pardis Taghavi, Reza Langari, Gaurav Pandey

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-08-19

备注: 22 pages, 5 figures. Project page: https://pardistaghavi.github.io/SparsePR-website/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SparsePR以解决视频生成中的稀疏注意力问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 稀疏注意力 视频生成 响应耦合分区 探针拟合 机器学习 深度学习

📋 核心要点

  1. 现有方法在视频生成中使用的稀疏注意力机制存在支持重叠不佳和重建误差高的问题。
  2. 论文提出SparsePR，通过响应耦合分区和探针拟合残差重建来优化稀疏注意力的效果。
  3. 实验结果表明，SparsePR在多个视频生成模型中显著降低了重建误差，并实现了1.48x-2.61x的速度提升。

📝 摘要（中文）

训练无关的块稀疏注意力能够加速视频变换器，但仅依靠行级注意力集中并不能指定可执行的稀疏操作。查询共享块路由可能导致支持重叠不佳，而保留的注意力质量也无法单独决定跳过交互后的后软最大误差。我们展示了分区几何形状如何影响池化支持和从稀疏输出中预测剩余残差的可预测性。我们提出了SparsePR，它结合了响应耦合分区与探针拟合残差重建。在四个异构视频生成和世界模型中，SparsePR始终减少注意力重建误差，探针拟合在其中贡献最大，同时响应耦合分区降低了硬丢失误差并在有限探针预算下改善重建质量。

🔬 方法详解

问题定义：论文要解决的是视频生成中的稀疏注意力机制效率低下和重建误差高的问题。现有方法在处理查询共享块路由时，往往导致支持重叠不佳，影响生成质量。

核心思路：论文的核心解决思路是引入SparsePR，通过响应耦合分区和探针拟合残差重建，优化稀疏注意力的计算过程，从而提高生成效率和质量。

技术框架：SparsePR的整体架构包括两个主要模块：响应耦合分区模块和探针拟合残差重建模块。前者负责优化查询的路由方式，后者则通过校准特定的仿射修正来提高输出的准确性。

关键创新：SparsePR的主要创新在于结合了响应耦合分区与探针拟合残差重建，显著改善了稀疏注意力的性能。这一方法与传统的稀疏注意力机制相比，能够更有效地利用查询的共享路由信息。

关键设计：在设计中，SparsePR使用了一小组精确的查询行来校准稀疏输出的仿射修正，并在探针残差中观察到的输出子空间内进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SparsePR在四个不同的视频生成和世界模型中，注意力重建误差显著降低，探针拟合贡献了大部分的误差减少。同时，SparsePR在保持生成质量的前提下，实现了22.0%-26.0%的执行对密度，速度提升达到1.48x-2.61x。

🎯 应用场景

该研究的潜在应用领域包括视频生成、虚拟现实和增强现实等场景，能够为这些领域提供更高效的生成模型，提升用户体验。未来，SparsePR可能在实时视频处理和交互式媒体生成中发挥重要作用。

📄 摘要（原文）

Training-free block-sparse attention can accelerate video transformers, but row-wise attention concentration does not by itself specify an executable sparse operator. Queries sharing a block route may have poorly overlapping supports, while retained attention mass alone does not determine the post-softmax error from skipped interactions. We show that partition geometry affects both pooled support and the predictability of the remaining residual from the sparse output. We introduce SparsePR, which combines Response-Coupled Partitioning with Probe-Fitted Residual Reconstruction. Sampled-query key responses form paired K/V groups, whose centroids induce query-response coordinates for shared routing. A small set of exact query rows then calibrates a call-specific affine correction from the sparse output within the output subspace observed in the probe residuals. Across four heterogeneous video generation and world models, SparsePR consistently reduces attention-reconstruction error. Ablations show that probe fitting accounts for most of this reduction, while response-coupled partitioning lowers hard-drop error and improves reconstruction under a finite probe budget. SparsePR preserves generation quality at 22.0-26.0% realized executed-pair density while achieving 1.48x-2.61x end-to-end speedups. Project page: https://pardistaghavi.github.io/SparsePR-website/