Robust 3D Alignment of Generative Reconstructions via Partial Monocular Observations
作者: Yuchen Zhang, Luanyuan Dai, Yiwei Wang, Xiwei Xu, Jianing Zhang, Johnny. r. zhang, Xianhui Meng, Yanbiao Ma, Jiayi Ma, Xiaoshuai Hao
分类: cs.CV
发布日期: 2026-07-01
💡 一句话要点
提出一种无训练几何对齐框架以解决生成3D重建与单目观测对齐问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 几何对齐 单目观测 计算机视觉 深度学习 鲁棒性 数据稀疏 尺度恢复
📋 核心要点
- 现有方法在生成3D重建与稀疏单目观测之间的对齐中面临严重的不对称性和度量模糊，导致配准效果不佳。
- 本文提出了一种无训练的几何对齐框架，通过3D相似变换实现生成3D先验的对齐，解决了尺度和姿态恢复问题。
- 实验结果显示，所提方法在对齐性能上显著优于传统几何方法和最新的学习基线，展现出良好的稳定性和准确性。
📝 摘要（中文）
对生成3D重建与部分单目观测的对齐是计算机视觉中的一个重要但未被充分探索的挑战。由于噪声、稀疏的单目输入与密集的生成先验之间存在严重的不对称性，导致传统的配准方法在缺乏初始重叠的情况下效果不佳。为了解决这些问题，本文提出了一种无训练且可解释的几何对齐框架，通过3D相似变换（Sim(3)）将生成3D先验进行对齐，能够恢复准确的度量尺度和姿态。我们引入了显式的尺度因子以解决度量模糊，并采用粗到细的对齐策略，利用几何感知描述符进行稳健初始化，并使用解耦的封闭形式求解器进行精确优化。此外，我们引入了幻觉过滤操作，有效抑制由幻觉几何引起的异常值。实验结果表明，我们的方法在极端条件下实现了稳定且准确的配准，显著优于经典几何管道和最先进的学习基线。
🔬 方法详解
问题定义：本文旨在解决生成3D重建与部分单目观测之间的对齐问题。现有方法由于输入数据的噪声和稀疏性，以及缺乏初始重叠，导致配准效果不理想。
核心思路：论文提出了一种无训练的几何对齐框架，通过3D相似变换（Sim(3)）将生成3D先验与单目观测进行对齐，能够有效恢复度量尺度和姿态。
技术框架：整体流程包括初始的粗对齐、稳健的几何感知描述符初始化和精确的解耦求解器优化。通过引入显式尺度因子和幻觉过滤操作，增强了对齐的鲁棒性。
关键创新：最重要的创新在于引入了显式尺度因子和幻觉过滤操作，这些设计使得在面对噪声和稀疏数据时，能够有效抑制异常值并提高配准精度。
关键设计：在参数设置上，采用了几何感知描述符进行稳健初始化，并设计了一个解耦的封闭形式求解器以实现精确优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在对齐性能上显著优于传统几何方法和最新的学习基线，具体表现为在GenPMOAlign基准测试中，配准精度提高了XX%，稳定性提升了YY%。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、增强现实和虚拟现实等场景，能够为这些领域提供更为准确的3D重建和环境理解。未来，该方法可能在自动驾驶、智能监控等领域发挥重要作用，提升系统的智能化水平。
📄 摘要（原文）
Aligning generative 3D reconstructions with partial monocular observations is a critical but under-explored challenge in computer vision. This task is inherently ill-posed due to severe asymmetries between noisy, sparse monocular inputs and dense generative priors, whose scale ambiguity and geometric hallucinations, combined with the lack of initial overlap, render traditional registration pipelines ineffective. To resolve these issues, we propose a training-free and interpretable geometric alignment framework that grounds generative 3D priors via a 3D similarity transformation (Sim(3)), which can recover accurate metric scale and pose. Specifically, we introduce an explicit scale factor to resolve metric ambiguity and employ a coarse-to-fine alignment strategy, leveraging geometry-aware descriptors for robust initialization and a decoupled closed-form solver for precision refinement. In addition, we introduce a Hallucination Filtering operation to effectively suppress outliers caused by hallucinated geometry. To evaluate alignment performance under these extreme conditions, we introduce GenPMOAlign--Where2Place, a rigorous benchmark specifically designed for Generative-to-Partial Monocular Observational Alignment. Experiments demonstrate that our method achieves stable and accurate registration, substantially outperforming both classical geometric pipelines and state-of-the-art learning-based baselines. Code and the benchmark will be publicly released.