Self-Geometry: GT-Free and Plug-and-Play Test-Time Adaptation for Geometrically Consistent 3D Vision Foundation Models

📄 arXiv: 2608.10708v1 📥 PDF

作者: Seokhyun Youn, Dahyeon Kye, Sung-Ho Bae, Jihyong Oh

分类: cs.CV

发布日期: 2026-08-11

备注: Project page: https://cmlab-korea.github.io/Self-Geometry/

💡 一句话要点

提出Self-Geometry以解决3D视觉模型中的几何一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 几何一致性 测试时适应 多视图几何约束 深度估计

📋 核心要点

  1. 现有的视觉基础模型在处理几何一致性时存在显著的计算成本问题，导致模型在特定场景下表现不佳。
  2. 论文提出Self-Geometry，通过直接施加显式的多视图几何约束，利用2D像素对应关系来提高模型的几何一致性。
  3. 实验结果表明，Self-Geometry在多个基准测试中显著提升了姿态和几何估计的准确性，验证了其有效性。

📝 摘要（中文）

近期的视觉基础模型（VFM）能够在单次前向传递中预测深度、相机姿态和点图，而无需针对每个场景进行优化，展现出强大的泛化能力。然而，强制执行显式的多视图几何一致性（如通过束调整）计算成本高，因此在VFM预训练时未被施加，导致可能出现不一致性。为了解决这一问题，本文提出了Self-Geometry，一个即插即用的测试时适应管道，直接利用2D像素对应关系作为伪地面真值，施加显式的多视图几何约束。该方法在六个VFM（VGGT、π³、DA3-Giant/Large/Base/Small）和四个基准（7Scenes、ETH3D、ScanNet++、HiRoom）上均取得了姿态和几何估计的一致性提升。

🔬 方法详解

问题定义：本文旨在解决视觉基础模型在测试阶段缺乏几何一致性的问题。现有方法在预训练时未施加显式几何约束，导致在特定场景下模型表现不佳。

核心思路：Self-Geometry通过引入显式的多视图几何约束，利用2D像素对应关系作为伪地面真值，来增强模型的几何一致性。该方法设计为即插即用，便于在测试阶段应用。

技术框架：Self-Geometry包括几个主要模块：几何解耦优化（结合多视图一致性和极线一致性损失）、基于SO(3)测地距离的帧角邻居视图采样器，以及通过LoRA适应VFM的轻量级测试时适应（TTA）。

关键创新：最重要的创新在于通过显式施加几何约束来提升模型的几何一致性，这与以往依赖隐式信号的方法有本质区别。

关键设计：在损失函数设计上，结合了多视图一致性和极线一致性损失，同时采用梯度解耦技术以防止梯度冲突，确保优化过程的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Self-Geometry在六个视觉基础模型上均取得了显著提升，尤其在姿态和几何估计方面，性能提升幅度达到10%以上，验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等，能够显著提升3D视觉系统在复杂场景中的表现。通过提高模型的几何一致性，未来可在更广泛的实际应用中实现更高的准确性和可靠性。

📄 摘要（原文）

Recent Vision Foundation Models (VFMs) predict depth, camera pose, and pointmap in a single forward pass without per-scene optimization, achieving strong generalization. However, enforcing explicit multi-view geometric consistency, e.g., through bundle adjustment, is computationally costly and is thus not imposed during VFM pretraining, so such inconsistency can arise. To address this, implicit self-consistency derived from model outputs (e.g., pointmaps, features), though enforced at test-time in prior work, delivers inherently limited performance gain, especially on scenes where the pretrained VFM is highly inaccurate. In contrast to this implicit signal, we propose Self-Geometry, a plug-and-play test-time adaptation pipeline that directly imposes explicit multi-view geometric constraints using 2D pixel correspondences as pseudo ground-truth. Our proposed Self-Geometry consists of Geometric Disentanglement Optimization, which combines Multi-View Consistency and Epipolar Consistency losses with Gradient Disentanglement to prevent gradient conflict; Frame Angular-Neighbor, a view sampler based on SO(3) geodesic distances for lightly imposing these constraints; and Lightweight TTA, which adapts VFMs via LoRA. Our method achieves consistent improvements in both pose and geometry estimation across six VFMs (VGGT, $π^3$, DA3-Giant/Large/Base/Small) and four benchmarks (7Scenes, ETH3D, ScanNet++, HiRoom).