Argus: Metric Panoramic 3D Reconstruction for Indoor Scenes
作者: Xi Li, Linyuan Li, Yan Wu, Tong Rao, Kai Zhang, Xinchen Hui, Cihui Pan
分类: cs.CV
发布日期: 2026-06-29
💡 一句话要点
提出Argus以解决室内场景的度量全景3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 全景3D重建 室内场景 深度学习 多任务学习 几何一致性 数据集构建 相机姿态估计 点云重建
📋 核心要点
- 现有的全景3D重建方法在处理室内场景时面临数据不足和全局姿态漂移等挑战。
- 本文提出了Argus网络，通过学习共视模块选择最优参考视图，并分解像素到世界的映射以增强几何一致性。
- 在Realsee3D基准测试中，Argus在相机姿态估计、深度估计和点云重建上实现了最先进的性能，展示了显著的效果提升。
📝 摘要（中文）
度量前馈3D重建在全景数据上的研究仍然较少，主要由于缺乏大规模的全景RGB-D训练数据。本文提出了Realsee3D，一个包含1K真实和9K合成的10K室内场景的混合数据集，提供299K全景视点和精确的度量注释。同时，提出了Argus，一个基于该数据集训练的前馈网络，用于度量全景3D重建。在Realsee3D的稀疏无序捕获设置中，选择不当的坐标锚点可能导致全局姿态漂移。Argus通过学习的共视模块解决了这一问题，选择几何上最优的参考视图来锚定度量世界框架。为了进一步改善多任务学习，本文将双向像素到世界的映射分解为可解释的子步骤，并进行逐步监督和跨坐标联合约束，增强了预测分支之间的几何一致性。在Realsee3D基准上，Argus在相机姿态估计、深度估计和点云重建方面达到了最先进的度量性能。
🔬 方法详解
问题定义：本文旨在解决室内场景的度量全景3D重建问题，现有方法在数据稀缺和坐标锚点选择不当时容易导致全局姿态漂移。
核心思路：论文提出了Argus网络，通过引入学习的共视模块，选择几何上最优的参考视图来锚定度量世界框架，从而减少姿态漂移的影响。同时，将复杂的像素到世界映射过程分解为多个可解释的子步骤，以增强模型的几何一致性。
技术框架：Argus的整体架构包括输入的全景图像、共视模块、像素到世界映射的分解步骤以及最终的3D重建输出。每个模块都经过精心设计，以确保在多任务学习中保持一致性和准确性。
关键创新：Argus的主要创新在于其学习的共视模块和分解的映射过程，这与传统方法的单一映射方式形成了鲜明对比，显著提高了重建的准确性和鲁棒性。
关键设计：在网络设计中，采用了逐步监督的策略，确保每个子步骤都能得到有效的训练。此外，跨坐标联合约束的引入进一步增强了不同预测分支之间的几何一致性，提升了整体性能。
🖼️ 关键图片
📊 实验亮点
在Realsee3D基准测试中，Argus在相机姿态估计、深度估计和点云重建方面达到了最先进的性能，具体表现为在这些任务上超越了现有的基线方法，展示了显著的性能提升，具体数据未提供。
🎯 应用场景
该研究的潜在应用领域包括室内导航、虚拟现实、增强现实以及建筑信息建模等。通过提供高精度的3D重建，Argus可以为智能家居、机器人导航和环境监测等实际应用提供支持，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Metric feed-forward 3D reconstruction for panoramic data remains under-explored due to the lack of large-scale panoramic RGB-D training data. We present Realsee3D, a hybrid dataset of 10K indoor scenes (1K real, 9K synthetic) with 299K panoramic viewpoints and precise metric annotations, and Argus, a feed-forward network trained on it for metric panoramic 3D reconstruction. In the sparse unordered capture setting of Realsee3D, a poorly chosen coordinate anchor can cause global pose drift. Argus addresses this with a learned covisibility module that selects the geometrically optimal reference view to anchor the metric world frame. To further improve multi-task learning, we decompose the bidirectional pixel-to-world mapping into interpretable sub-steps with per-step supervision and cross-coordinate joint constraints, reinforcing geometric consistency across prediction branches. On the Realsee3D benchmark, Argus achieves state-of-the-art metric performance in camera pose estimation, depth estimation, and point cloud reconstruction. Project page: https://argus-paper.realsee.ai.