T-Pixel2Mesh: Combining Global and Local Transformer for 3D Mesh Generation from a Single Image

📄 arXiv: 2403.13663v1 📥 PDF

作者: Shijie Zhang, Boyan Jiang, Keke He, Junwei Zhu, Ying Tai, Chengjie Wang, Yinda Zhang, Yanwei Fu

分类: cs.CV

发布日期: 2024-03-20

备注: Received by ICASSP 2024

💡 一句话要点

提出T-Pixel2Mesh以解决单视图3D重建中的细节损失问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 Transformer 图卷积网络 细节恢复 单视图重建 深度学习 计算机视觉

📋 核心要点

  1. 现有的Pixel2Mesh方法在细节重建上存在不足，尤其是对于遮挡区域和真实图像的适应性差。
  2. 本文提出T-Pixel2Mesh，通过全局和局部Transformer的结合，改善了细节重建的能力，增强了对真实数据的适应性。
  3. 实验结果表明，T-Pixel2Mesh在ShapeNet上达到了最先进的性能，并在真实数据集上展现了良好的泛化能力。

📝 摘要（中文）

Pixel2Mesh (P2M) 是一种经典的从单张彩色图像重建3D形状的方法，采用粗到细的网格变形策略。尽管P2M能够生成合理的全局形状，但其图卷积网络（GCN）常常导致细节过于平滑，丧失了精细的几何细节。此外，P2M在处理遮挡区域时生成的特征不够可信，并且在合成数据与真实图像之间存在领域差距，这是单视图3D重建方法的普遍挑战。为了解决这些问题，本文提出了一种新颖的增强Transformer架构T-Pixel2Mesh，灵感来源于P2M的粗到细方法。具体而言，我们使用全局Transformer控制整体形状，并利用局部Transformer逐步细化局部几何细节，结合基于图的点上采样。为了增强真实世界的重建效果，我们提出了一种简单而有效的线性尺度搜索（LSS），作为输入预处理中的提示调优。我们的实验在ShapeNet上展示了最先进的性能，而在真实世界数据上的结果则显示了良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决单视图3D重建中细节损失和遮挡区域特征不可信的问题。现有的P2M方法在处理这些挑战时表现不佳，尤其是在真实世界数据的适应性方面。

核心思路：T-Pixel2Mesh的核心思路是结合全局Transformer和局部Transformer，分别控制整体形状和细化局部几何细节，从而实现更高质量的3D重建。

技术框架：该方法的整体架构包括全局Transformer模块用于全局形状控制，局部Transformer模块用于局部细节的逐步优化，以及基于图的点上采样技术来增强细节表现。

关键创新：最重要的创新在于引入了全局和局部Transformer的结合使用，使得模型在生成全局形状的同时，能够有效捕捉局部细节，克服了传统GCN的平滑问题。

关键设计：在模型设计中，采用了线性尺度搜索（LSS）作为输入预处理的提示调优方法，以增强模型对真实数据的适应性，同时在损失函数和网络结构上进行了优化，以提高重建精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ShapeNet数据集上，T-Pixel2Mesh达到了最先进的性能，具体表现为相较于基线方法在重建精度上提升了XX%。在真实世界数据集上的实验结果显示，该方法能够有效地处理遮挡区域，展现出良好的泛化能力，进一步验证了其实际应用的潜力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在虚拟现实、增强现实和游戏开发等领域。通过提高单视图3D重建的精度和细节表现，T-Pixel2Mesh能够为这些应用提供更真实的3D模型，进而提升用户体验。此外，该方法的泛化能力也为实际场景中的3D重建提供了新的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Pixel2Mesh (P2M) is a classical approach for reconstructing 3D shapes from a single color image through coarse-to-fine mesh deformation. Although P2M is capable of generating plausible global shapes, its Graph Convolution Network (GCN) often produces overly smooth results, causing the loss of fine-grained geometry details. Moreover, P2M generates non-credible features for occluded regions and struggles with the domain gap from synthetic data to real-world images, which is a common challenge for single-view 3D reconstruction methods. To address these challenges, we propose a novel Transformer-boosted architecture, named T-Pixel2Mesh, inspired by the coarse-to-fine approach of P2M. Specifically, we use a global Transformer to control the holistic shape and a local Transformer to progressively refine the local geometry details with graph-based point upsampling. To enhance real-world reconstruction, we present the simple yet effective Linear Scale Search (LSS), which serves as prompt tuning during the input preprocessing. Our experiments on ShapeNet demonstrate state-of-the-art performance, while results on real-world data show the generalization capability.