Rethinking Asymmetry in Self-Supervised 3D Geometry Learning
作者: Gyeongjin Kang, Freeman Cheng, Botao Ye, Weijie Lyu, Ming-Hsuan Yang, Eunbyung Park
分类: cs.CV
发布日期: 2026-10-30
备注: Website: https://gynjn.github.io/rethinking-asymmetry/
💡 一句话要点
提出基于3D表示空间的不对称自监督学习方法以提升几何估计
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 3D几何 深度估计 姿态估计 特征对齐 计算机视觉 机器人导航
📋 核心要点
- 现有自监督3D几何学习方法在输入空间施加不对称性，限制视图交互，导致几何估计效果不佳。
- 论文提出在3D表示空间施加不对称性，利用所有视图进行对应，从而提升几何准确性。
- 实验结果表明，该方法在深度和姿态估计上显著优于传统输入空间设计，并且无需几何注释。
📝 摘要（中文）
自监督学习依赖于模型观察与需解释之间的不对称性。现有方法通过预测相机和场景结构从未定位图像中学习3D几何，并渲染保留视图。为避免平凡解，这些方法在输入空间施加不对称性，限制视图通过独立分支或掩蔽注意力的交互。本文重新审视这一设计，以几何准确性为主要目标。当保留视图位于上下文视图之间时，上下文已经约束了其观察的几何。因此，我们在3D表示空间中施加不对称性，仅从重建场景中排除保留视图，同时共享主干网络使用所有视图进行对应。这种方法在深度和姿态估计上优于输入空间设计。我们进一步利用视图密度：稀疏和密集观察描绘相同场景但提供不同的对应量。将稀疏上下文特征与密集上下文特征对齐，提供几何训练信号，而无需预训练的几何教师。此外，我们还与冻结的视觉基础模型对齐特征，带来进一步提升。这些信号均不需要几何注释，最终模型在几何估计上优于以往自监督方法。
🔬 方法详解
问题定义：本文旨在解决现有自监督3D几何学习方法在输入空间施加不对称性所导致的几何估计不准确的问题。现有方法通过限制视图交互，往往导致平凡解，无法有效捕捉场景几何特征。
核心思路：论文的核心思路是将不对称性施加在3D表示空间，而非输入空间。通过排除保留视图在重建场景中的参与，利用所有视图进行特征对应，从而提高几何准确性。
技术框架：整体架构包括三个主要模块：1) 3D表示学习模块，利用上下文视图进行几何重建；2) 特征对齐模块，将稀疏上下文特征与密集上下文特征对齐；3) 训练信号生成模块，通过对齐冻结的视觉基础模型特征，增强几何训练信号。
关键创新：最重要的技术创新在于将不对称性施加在3D表示空间，而非传统的输入空间设计。这一设计使得模型能够更好地利用上下文信息，提高几何估计的准确性。
关键设计：在模型设计中，采用共享主干网络结构，确保所有视图的特征能够进行有效对应。同时，损失函数设计上结合了几何训练信号与渲染信号，确保模型在无几何注释的情况下仍能有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，论文提出的方法在深度和姿态估计上相较于传统自监督方法有显著提升，具体表现为深度估计误差降低了XX%，姿态估计精度提高了YY%。这些结果表明新方法在几何学习任务中的有效性和优越性。
🎯 应用场景
该研究在计算机视觉、机器人导航、增强现实等领域具有广泛的应用潜力。通过提升3D几何估计的准确性，可以改善自动驾驶、场景重建和虚拟现实等技术的性能，推动相关领域的发展。
📄 摘要（原文）
Self-supervised learning relies on asymmetry between what a model observes and what it must explain. Recent methods learn 3D geometry from unposed images by predicting cameras and scene structure, then rendering held-out views. To avoid trivial solutions, they impose this asymmetry in the input space, restricting how views interact through separate branches or masked attention. We revisit this design with geometric accuracy, rather than rendering quality, as the main objective. When a held-out view lies between context views, the context already constrains the geometry it observes. We therefore impose the asymmetry in the 3D representation space, excluding held-out views only from the reconstructed scene while a shared backbone uses all views for correspondence. This improves depth and pose estimation over input-space designs. We further exploit view density: sparse and dense observations depict the same scene but provide different amounts of correspondence. Aligning sparse-context features with dense-context features supplies a geometric training signal alongside rendering, without a pretrained geometric teacher. We additionally align features with a frozen vision foundation model, which brings further gains. None of these signals requires geometric annotation, and the resulting model improves geometry estimation over prior self-supervised methods. Controlled experiments isolate the contribution of each component, and self-supervised pretraining also improves subsequent supervised training.