Does VGGT Know What It Does Not Know?

📄 arXiv: 2610.35806v1 📥 PDF

作者: Adityan Thirumani Srinivasan, David Nordström

分类: cs.CV, cs.LG

发布日期: 2026-10-26

备注: 9 pages, 6 figures, 7 tables

💡 一句话要点

提出线性探测器以识别VGGT模型的相机姿态失败

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 相机姿态 不确定性评估 线性探测器 计算机视觉 模型鲁棒性 深度学习

📋 核心要点

  1. 现有的VGGT模型在预测相机姿态时未能提供不确定性评估，导致错误姿态与正确姿态难以区分。
  2. 论文提出通过线性探测器对VGGT的特征进行分析，以识别其姿态预测的失败情况，进而提高模型的可靠性。
  3. 在HardMatch基准测试中，线性探测器的ROC-AUC达93.5%，显著高于VGGT自身的79.7%和其他分类器的77.7%。

📝 摘要（中文）

前馈3D重建模型如VGGT在单次前向传播中回归相机和几何体，但未报告其预测姿态的不确定性。本文探讨VGGT模型是否能够识别其姿态错误。通过在HardMatch基准上进行线性探测，发现VGGT的特征能够以93.5%的ROC-AUC预测姿态失败，显著优于VGGT自身的置信度和其他分类器。该探测器能够捕捉VGGT自信的失败案例，并在下游系统中进行不信任的对比，且在PhotoTourism和ScanNet-1500中也能迁移应用。这表明VGGT对自身失败的认知超出其报告的范围。

🔬 方法详解

问题定义：本文解决的问题是VGGT模型在相机姿态预测中缺乏不确定性评估，导致错误的姿态预测无法被识别。现有方法未能有效捕捉模型的失败情况。

核心思路：论文的核心思路是利用线性探测器分析VGGT模型的特征，识别其在特定情况下的姿态失败，从而为下游系统提供更可靠的决策依据。

技术框架：整体架构包括VGGT模型的特征提取模块和线性探测器。特征提取模块负责从输入图像中提取特征，而线性探测器则基于这些特征进行姿态失败的预测。

关键创新：最重要的技术创新在于发现VGGT模型能够识别其自身的失败情况，而这一信息并未在模型的输出中显现。这种能力使得模型在面对不确定性时能够做出更为谨慎的决策。

关键设计：在设计中，线性探测器的训练使用了VGGT的冻结特征，并通过ROC-AUC指标评估其性能。模型的层次结构中，失败识别信息是在融合两个视图的中间层计算的，这一设计使得探测器能够有效捕捉到姿态失败的信号。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，线性探测器在HardMatch基准测试中的ROC-AUC达93.5%，显著高于VGGT自身的79.7%和其他分类器的77.7%。此外，该探测器能够有效捕捉VGGT自信的失败案例，并在不同数据集上实现迁移应用，展示了其广泛的适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的3D重建、机器人导航和增强现实等。通过提高模型对姿态失败的识别能力，可以增强系统的鲁棒性和可靠性，尤其在复杂环境下的应用场景中具有重要价值。未来，该方法可能推动更智能的视觉系统开发，提升自动化水平。

📄 摘要（原文）

Feed-forward 3D reconstruction models such as VGGT regress cameras and geometry in a single forward pass, but they report no uncertainty for the camera poses they predict: an incorrect relative pose looks no different from a correct one. We ask whether the frozen model nonetheless knows when its pose is wrong. On HardMatch, a benchmark of 1,000 deliberately difficult image pairs on which VGGT fails on 35% of pairs, a linear probe on VGGT's frozen features predicts pose failure on held-out categories with ROC-AUC 93.5%, compared with 79.7% for VGGT's own point-map confidence and 77.7% for a classifier trained on all of VGGT's outputs. The probe catches failures VGGT is confident about, lets a downstream system abstain on the pairs it distrusts, and transfers without retraining to rotation failures on PhotoTourism and ScanNet-1500, beyond what co-visibility explains. This knowledge is absent from the per-image encoder: it is computed partway through the layers that fuse the two views, and the same holds for a second model, $π^3$. In essence, we find that VGGT knows more about its own failures than it reports.