GPA-VGGT: Geometry-Preserving Acceleration of VGGT

📄 arXiv: 2610.37000v1 📥 PDF

作者: Muyeol Sung, Jangwon Kim, Jongwoo Lim

分类: cs.CV

发布日期: 2026-10-27

备注: Accepted to WACV 2027. Project page: https://noheat61.github.io/GPA-VGGT/

💡 一句话要点

提出GPA-VGGT以解决VGGT在长序列中的效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 几何模型 多视角3D感知 注意力机制 计算效率 深度学习

📋 核心要点

  1. 现有的VGGT方法在处理长序列时，由于全局注意力的二次复杂度，导致运行效率低下。
  2. GPA-VGGT通过在早期模块中引入帧注意力，并在后续模块中优化键和值的合并，来提升计算效率。
  3. 实验结果显示，GPA-VGGT在保持VGGT的姿态精度超过99%的同时，实现了与之前方法相当的加速效果。

📝 摘要（中文）

前馈几何模型如VGGT能够在单次前向传播中从一到多个视角恢复相机参数、深度图和点图，成为多视角3D感知的强大基础。然而，VGGT的全局注意力在帧数增加时呈现二次增长，导致在长序列中的运行时间显著增加。为此，研究者提出了GPA-VGGT，这是一种训练无关的加速方法，通过在早期模块中用帧注意力替代全局注意力，并在后续模块中仅合并键和值，同时保留所有查询，从而实现高效的几何估计。实验表明，GPA-VGGT在多视角几何任务中提供了与先前工作相当的加速，同时保持了VGGT的高精度。

🔬 方法详解

问题定义：论文旨在解决VGGT在处理长序列时效率低下的问题，主要由于其全局注意力机制的计算复杂度随帧数增加而显著上升。

核心思路：GPA-VGGT的核心思想是用帧注意力替代全局注意力，并在后续模块中优化键和值的合并，以减少计算开销，同时保留必要的信息用于几何估计。

技术框架：整体架构分为两个主要阶段：第一阶段使用帧注意力替代全局注意力，第二阶段仅合并键和值，保留查询，确保信息的完整性。

关键创新：GPA-VGGT的主要创新在于通过共享跨帧的键/值集来增强帧注意力，同时在后续模块中恢复合并键所代表的注意力质量，这与传统的全局注意力机制有本质区别。

关键设计：在设计中，GPA-VGGT随机将匹配度投影到128维，以降低匹配成本，同时确保合并后的注意力质量不受影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPA-VGGT在多视角几何任务中实现了与先前方法相当的加速效果，同时在AUC@3指标下保持了VGGT姿态精度的99%以上，显示出其在效率与精度之间的良好平衡。

🎯 应用场景

GPA-VGGT在多视角3D感知领域具有广泛的应用潜力，尤其是在需要实时处理长序列视频的场景中，如自动驾驶、虚拟现实和增强现实等。其高效的几何估计能力能够显著提升这些应用的实时性和准确性，推动相关技术的发展。

📄 摘要（原文）

Feed-forward geometry models such as VGGT recover camera parameters, depth maps, and point maps from one to hundreds of views in a single forward pass, making them powerful backbones for multi-view 3D perception. However, VGGT's global attention is quadratic in the number of frames and dominates end-to-end runtime on long sequences, which has motivated a range of training-free efficiency methods such as token merging. These methods, however, come with a drop in accuracy that makes them hard to use in place of VGGT. We propose GPA-VGGT, a training-free acceleration method that replaces global attention in early blocks with frame attention augmented by a shared cross-frame K/V set. In the remaining blocks, we merge only keys and values while preserving all queries, restore the attention mass of the tokens each merged key represents, and randomly project the matching metric to 128 dimensions to reduce matching cost. Across diverse multi-view geometry tasks, GPA-VGGT provides training-free acceleration at speedups comparable to prior work while preserving the information required for precise geometric estimation, retaining over 99% of VGGT's pose accuracy under AUC@3.