6Img-to-3D: Few-Image Large-Scale Outdoor Driving Scene Reconstruction

📄 arXiv: 2404.12378v2 📥 PDF

作者: Théo Gieruc, Marius Kästingschäfer, Sebastian Bernhard, Mathieu Salzmann

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-04-18 (更新: 2025-04-07)

备注: IV 2025. Joint first authorship. Project page: https://6Img-to-3D.GitHub.io/ Code https://github.com/continental/6Img-to-3D

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

提出6Img-to-3D以解决少图像大规模户外场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 图像处理 变换器 自动驾驶 计算机视觉

📋 核心要点

  1. 现有的3D重建方法在从少量图像中重建无界场景时面临高计算需求和遮挡区域重建不可靠的问题。
  2. 本文提出的6Img-to-3D方法通过六张外向图像实现高效的3D重建，结合了定制的注意力机制和可微分渲染技术。
  3. 实验结果显示，该方法能够在395毫秒内重建360°场景，且不依赖全局姿态信息，显著提升了重建效率和准确性。

📝 摘要（中文）

当前的3D重建技术在从少量图像中准确推断无界场景方面存在困难。现有方法计算需求高，依赖详细的姿态信息，且无法可靠重建遮挡区域。我们提出了6Img-to-3D，这是一种高效、可扩展的基于变换器的编码-渲染方法，能够仅通过六张面向外的输入图像重建大规模无界户外驾驶场景。我们通过结合定制的交叉和自注意力机制、可微分体积渲染、场景收缩和图像特征投影，解决了现有方法的不足。实验表明，仅需六张来自同一时间戳的环绕视图车辆图像，无需全局姿态信息，即可在推理时重建360°场景，耗时395毫秒。我们的代码已在GitHub上公开，更多示例可在我们的网站上找到。

🔬 方法详解

问题定义：本文旨在解决现有3D重建技术在从少量图像中推断无界场景时的不足，特别是高计算需求和遮挡区域重建不可靠的问题。

核心思路：提出6Img-to-3D方法，通过仅使用六张外向图像，结合定制的交叉和自注意力机制，实现高效的3D重建，减少对全局姿态信息的依赖。

技术框架：该方法的整体架构包括图像特征提取、参数化三平面生成、可微分体积渲染和场景收缩等主要模块，形成一个完整的编码-渲染流程。

关键创新：最重要的创新在于结合了定制的注意力机制和可微分渲染技术，使得在仅有少量图像的情况下仍能实现高质量的3D重建，与传统方法相比，显著降低了对姿态信息的依赖。

关键设计：在网络结构上，采用了特定的损失函数以优化三平面的参数化，同时在图像特征投影过程中引入了场景收缩机制，以提高重建的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，6Img-to-3D方法能够在仅使用六张环绕视图图像的情况下，成功重建360°场景，推理时间仅为395毫秒，显著优于现有方法，展示了其在大规模户外场景重建中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景，能够为这些领域提供高效的3D重建解决方案，提升用户体验和系统性能。未来，该方法可能在城市规划、环境监测等领域发挥重要作用。

📄 摘要（原文）

Current 3D reconstruction techniques struggle to infer unbounded scenes from a few images faithfully. Specifically, existing methods have high computational demands, require detailed pose information, and cannot reconstruct occluded regions reliably. We introduce 6Img-to-3D, an efficient, scalable transformer-based encoder-renderer method for single-shot image to 3D reconstruction. Our method outputs a 3D-consistent parameterized triplane from only six outward-facing input images for large-scale, unbounded outdoor driving scenarios. We take a step towards resolving existing shortcomings by combining contracted custom cross- and self-attention mechanisms for triplane parameterization, differentiable volume rendering, scene contraction, and image feature projection. We showcase that six surround-view vehicle images from a single timestamp without global pose information are enough to reconstruct 360$^{\circ}$ scenes during inference time, taking 395 ms. Our method allows, for example, rendering third-person images and birds-eye views. Our code is available at https://github.com/continental/6Img-to-3D, and more examples can be found at our website here https://6Img-to-3D.GitHub.io/.