Argus: Metric Panoramic 3D Reconstruction for Indoor Scenes

📄 arXiv: 2606.30047 📥 PDF

作者: Xi Li, Linyuan Li, Yan Wu, Tong Rao, Kai Zhang, Xinchen Hui, Cihui Pan

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出Argus以解决室内场景的度量全景3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D重建 全景数据 深度估计 相机姿态 多任务学习 室内场景 机器学习

📋 核心要点

  1. 现有的全景3D重建方法在缺乏大规模训练数据的情况下，往往面临全局姿态漂移等问题。
  2. 本文提出的Argus网络通过学习的共视模块选择几何最优参考视图，解决了坐标锚点选择不当的问题。
  3. 在Realsee3D基准测试中，Argus在多个任务上实现了最先进的性能，显著提升了相机姿态和深度估计的准确性。

📝 摘要（中文）

度量前馈3D重建在全景数据上仍未得到充分探索，主要由于缺乏大规模的全景RGB-D训练数据。本文提出了Realsee3D，一个包含10K室内场景（1K真实，9K合成）的混合数据集，具有299K全景视点和精确的度量注释。同时，我们提出了Argus，一个在该数据集上训练的前馈网络，用于度量全景3D重建。Argus通过学习的共视模块解决了坐标锚点选择不当导致的全局姿态漂移问题，并通过分解双向像素到世界映射为可解释的子步骤，进一步增强了多任务学习的几何一致性。在Realsee3D基准测试中，Argus在相机姿态估计、深度估计和点云重建方面达到了最先进的度量性能。

🔬 方法详解

问题定义：本文旨在解决室内场景的度量全景3D重建问题，现有方法在稀疏无序捕获设置下容易出现全局姿态漂移，主要由于坐标锚点选择不当。

核心思路：Argus通过引入学习的共视模块，选择几何上最优的参考视图来锚定度量世界框架，从而减少姿态漂移的影响。此外，论文还将双向像素到世界的映射分解为可解释的子步骤，以增强多任务学习的效果。

技术框架：Argus的整体架构包括输入的全景数据、共视模块、像素到世界映射的分解模块，以及最终的3D重建输出。每个模块之间通过交叉坐标联合约束进行连接，以确保几何一致性。

关键创新：Argus的主要创新在于其学习的共视模块和双向映射的分解设计，这与现有方法相比，提供了更高的几何一致性和准确性，尤其是在姿态估计和深度估计方面。

关键设计：在网络结构上，Argus采用了多任务学习的策略，使用了针对每个子步骤的监督信号，并设计了特定的损失函数来强化不同任务之间的几何一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Realsee3D基准测试中，Argus在相机姿态估计、深度估计和点云重建方面达到了最先进的度量性能，具体表现为在相机姿态估计上提升了XX%，在深度估计和点云重建上也显著优于现有基线方法。

🎯 应用场景

该研究的潜在应用领域包括室内导航、虚拟现实、增强现实等，能够为这些领域提供高精度的3D重建技术，提升用户体验和交互效果。未来，随着数据集的扩展和算法的优化，Argus有望在更广泛的场景中应用。

📄 摘要（原文）

Metric feed-forward 3D reconstruction for panoramic data remains under-explored due to the lack of large-scale panoramic RGB-D training data. We present Realsee3D, a hybrid dataset of 10K indoor scenes (1K real, 9K synthetic) with 299K panoramic viewpoints and precise metric annotations, and Argus, a feed-forward network trained on it for metric panoramic 3D reconstruction. In the sparse unordered capture setting of Realsee3D, a poorly chosen coordinate anchor can cause global pose drift. Argus addresses this with a learned covisibility module that selects the geometrically optimal reference view to anchor the metric world frame. To further improve multi-task learning, we decompose the bidirectional pixel-to-world mapping into interpretable sub-steps with per-step supervision and cross-coordinate joint constraints, reinforcing geometric consistency across prediction branches. On the Realsee3D benchmark, Argus achieves state-of-the-art metric performance in camera pose estimation, depth estimation, and point cloud reconstruction. Project page:this https URL.