EscherNet: A Generative Model for Scalable View Synthesis

📄 arXiv: 2402.03908v2 📥 PDF

作者: Xin Kong, Shikun Liu, Xiaoyang Lyu, Marwan Taher, Xiaojuan Qi, Andrew J. Davison

分类: cs.CV

发布日期: 2024-02-06 (更新: 2024-03-19)

备注: CVPR2024 Project Page: https://kxhit.github.io/EscherNet

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EscherNet以解决可扩展视图合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视图合成 3D重建 扩散模型 计算机视觉 神经网络 多视角学习 虚拟现实

📋 核心要点

  1. 现有方法在视图合成中面临可扩展性和灵活性不足的挑战，难以同时生成多个一致的目标视图。
  2. EscherNet通过多视角条件扩散模型，结合相机位置编码，实现了对相机变换的精确控制，支持同时生成多个视图。
  3. 实验结果显示，EscherNet在多个基准测试中表现优异，超越了传统方法，展示了其在3D视觉任务中的广泛适用性。

📝 摘要（中文）

我们介绍了EscherNet，一种多视角条件扩散模型用于视图合成。EscherNet学习隐式和生成的3D表示，并结合专门的相机位置编码，允许在任意数量的参考视图和目标视图之间进行精确和连续的相机变换控制。EscherNet在视图合成中提供了卓越的通用性、灵活性和可扩展性，能够在单个消费级GPU上同时生成超过100个一致的目标视图。EscherNet不仅解决了零-shot新视图合成问题，还自然地统一了单图像和多图像的3D重建，将这些多样化任务整合为一个统一的框架。我们的广泛实验表明，EscherNet在多个基准测试中实现了最先进的性能，甚至与专门针对每个单独问题设计的方法相比也表现优异。这种卓越的多功能性为设计可扩展的3D视觉神经架构开辟了新的方向。

🔬 方法详解

问题定义：论文旨在解决现有视图合成方法在可扩展性和灵活性方面的不足，尤其是在生成多个一致目标视图时的挑战。

核心思路：EscherNet的核心思路是利用多视角条件扩散模型，结合专门设计的相机位置编码，实现对相机变换的精确控制，从而在生成过程中保持视图的一致性。

技术框架：EscherNet的整体架构包括多个模块，首先是输入的参考视图和目标视图，然后通过条件扩散模型进行处理，最后生成多个目标视图。该框架支持在单个GPU上高效运行。

关键创新：EscherNet的主要创新在于其能够在固定数量的参考视图下，生成超过100个目标视图，且在零-shot新视图合成方面表现出色。这种能力使其与传统方法有本质区别。

关键设计：在技术细节上，EscherNet采用了特定的损失函数来优化视图一致性，并设计了高效的网络结构以支持大规模视图生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EscherNet在多个基准测试中达到了最先进的性能，能够在单个消费级GPU上同时生成超过100个一致的目标视图，显著优于传统方法，展示了其在视图合成任务中的卓越能力。

🎯 应用场景

EscherNet在计算机视觉领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和3D重建等场景中。其高效的视图合成能力可以提升用户体验，并推动相关技术的发展。未来，EscherNet可能会在自动驾驶、机器人导航等领域发挥重要作用。

📄 摘要（原文）

We introduce EscherNet, a multi-view conditioned diffusion model for view synthesis. EscherNet learns implicit and generative 3D representations coupled with a specialised camera positional encoding, allowing precise and continuous relative control of the camera transformation between an arbitrary number of reference and target views. EscherNet offers exceptional generality, flexibility, and scalability in view synthesis -- it can generate more than 100 consistent target views simultaneously on a single consumer-grade GPU, despite being trained with a fixed number of 3 reference views to 3 target views. As a result, EscherNet not only addresses zero-shot novel view synthesis, but also naturally unifies single- and multi-image 3D reconstruction, combining these diverse tasks into a single, cohesive framework. Our extensive experiments demonstrate that EscherNet achieves state-of-the-art performance in multiple benchmarks, even when compared to methods specifically tailored for each individual problem. This remarkable versatility opens up new directions for designing scalable neural architectures for 3D vision. Project page: https://kxhit.github.io/EscherNet.