GenNBV: Generalizable Next-Best-View Policy for Active 3D Reconstruction

📄 arXiv: 2402.16174v3 📥 PDF

作者: Xiao Chen, Quanyi Li, Tai Wang, Tianfan Xue, Jiangmiao Pang

分类: cs.CV, cs.AI, cs.RO

发布日期: 2024-02-25 (更新: 2024-07-30)

备注: CVPR 2024 accepted paper. Project page: http://gennbv.github.io/

💡 一句话要点

提出GenNBV以解决主动3D重建中的下一最佳视角选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 主动3D重建 下一最佳视角 强化学习 多源状态嵌入 神经辐射场 无人机扫描 跨数据集泛化 建筑物体识别

📋 核心要点

  1. 现有的NBV策略依赖于手工设计标准和有限的动作空间，导致跨数据集泛化能力不足。
  2. 本文提出GenNBV，采用强化学习框架，扩展动作空间并引入多源状态嵌入以增强泛化能力。
  3. 实验结果显示，GenNBV在未见建筑规模物体上的覆盖率显著高于现有方法，验证了其有效性。

📝 摘要（中文）

尽管神经辐射场的进展使得大规模场景的数字化变得更加真实，但图像捕获过程仍然耗时且劳动密集。现有的下一最佳视角（NBV）策略依赖于手工设计的标准、有限的动作空间或针对特定场景优化的表示，限制了其跨数据集的泛化能力。为了解决这些问题，本文提出了一种端到端的可泛化NBV策略GenNBV，该策略基于强化学习框架，扩展了典型的有限动作空间至5D自由空间，使得无人机能够从任意视角进行扫描，并在训练过程中与未见几何体进行交互。实验表明，该策略在Houses3K和OmniObject3D数据集上分别达到了98.26%和97.12%的覆盖率，超越了现有解决方案。

🔬 方法详解

问题定义：本文旨在解决主动3D重建中的下一最佳视角选择问题，现有方法因依赖手工标准和有限动作空间而限制了泛化能力。

核心思路：提出GenNBV策略，通过强化学习框架实现端到端的NBV选择，扩展动作空间至5D自由空间，允许无人机从任意视角扫描并与未见几何体交互。

技术框架：整体架构包括状态嵌入模块、动作选择模块和训练模块。状态嵌入模块整合几何、语义和动作表示，动作选择模块基于强化学习算法生成最佳视角，训练模块通过模拟环境进行优化。

关键创新：最重要的创新在于引入了多源状态嵌入和5D自由空间的扩展，使得策略能够在不同场景中保持高效的泛化能力。

关键设计：在参数设置上，使用了适应性学习率和多任务损失函数，网络结构采用深度卷积神经网络以提取复杂的几何和语义特征。实验中使用Isaac Gym模拟器进行训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GenNBV在Houses3K和OmniObject3D数据集上分别实现了98.26%和97.12%的覆盖率，显著优于现有方法。这一成果展示了其在未见建筑规模物体上的强泛化能力，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动化建筑扫描和增强现实等。通过提高3D重建的效率和准确性，GenNBV能够在实际场景中显著降低人力成本，并提升数据采集的灵活性和智能化水平，具有广泛的市场价值和应用前景。

📄 摘要（原文）

While recent advances in neural radiance field enable realistic digitization for large-scale scenes, the image-capturing process is still time-consuming and labor-intensive. Previous works attempt to automate this process using the Next-Best-View (NBV) policy for active 3D reconstruction. However, the existing NBV policies heavily rely on hand-crafted criteria, limited action space, or per-scene optimized representations. These constraints limit their cross-dataset generalizability. To overcome them, we propose GenNBV, an end-to-end generalizable NBV policy. Our policy adopts a reinforcement learning (RL)-based framework and extends typical limited action space to 5D free space. It empowers our agent drone to scan from any viewpoint, and even interact with unseen geometries during training. To boost the cross-dataset generalizability, we also propose a novel multi-source state embedding, including geometric, semantic, and action representations. We establish a benchmark using the Isaac Gym simulator with the Houses3K and OmniObject3D datasets to evaluate this NBV policy. Experiments demonstrate that our policy achieves a 98.26% and 97.12% coverage ratio on unseen building-scale objects from these datasets, respectively, outperforming prior solutions.