PointDiT: Pixel-Space Diffusion for Monocular Geometry Estimation

📄 arXiv: 2607.02515 📥 PDF

作者: Haofei Xu, Rundi Wu, Philipp Henzler, Nikolai Kalischek, Michael Oechsle, Fabian Manhardt, Marc Pollefeys, Andreas Geiger, Federico Tombari, Michael Niemeyer

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出PointDiT以简化单图像3D重建方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单图像3D重建 扩散变换器 视觉变换器 几何结构 鲁棒性

📋 核心要点

  1. 现有的单图像3D重建方法通常依赖复杂的架构和损失函数，导致实现和训练的难度增加。
  2. 本文提出了一种基于ViT的极简像素空间扩散变换器，直接处理原始3D点图块，简化了模型设计。
  3. 实验结果表明，该方法在几何结构的清晰度和模糊区域的鲁棒性上超越了复杂的潜在扩散模型。

📝 摘要（中文）

当前最先进的单图像3D重建方法通常依赖复杂的混合架构和损失函数，或者将几何信息压缩到潜在空间，以利用预训练的潜在扩散模型。本文展示了这些架构复杂性和复杂损失公式并非必要。我们提出了一种极简的像素空间扩散变换器，基于普通的ViT，直接在原始3D点图块上操作，并以预训练的DINOv3图像标记为条件。与现有的潜在扩散方法不同，我们的扩散骨干网络完全从零开始训练，消除了对点图标记器的需求。尽管方法简单，但我们的方案在复杂的潜在扩散模型上表现更佳，同时比混合替代方案显著简单。值得注意的是，它在透明物体等高度模糊区域中产生更清晰的几何结构，并且更具鲁棒性。

🔬 方法详解

问题定义：本文旨在解决单图像3D重建中现有方法的复杂性和鲁棒性不足的问题。现有方法往往依赖于复杂的混合架构和损失函数，导致实现难度增加。

核心思路：我们提出了一种极简的像素空间扩散变换器，直接在原始3D点图块上进行操作，避免了对潜在空间的依赖。通过这种设计，我们能够简化模型架构，同时保持高效的性能。

技术框架：该方法基于普通的视觉变换器（ViT），主要模块包括输入的3D点图块和条件图像标记，后者来自预训练的DINOv3。模型通过直接处理原始数据而非潜在表示，简化了训练过程。

关键创新：最重要的技术创新在于完全从零开始训练扩散骨干网络，消除了对点图标记器的需求。这一设计使得模型在处理复杂几何结构时表现出色。

关键设计：在网络结构上，我们采用了标准的ViT架构，并在训练过程中使用了简单的损失函数，确保了模型的高效性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PointDiT在几何结构的清晰度上显著优于复杂的潜在扩散模型，尤其在处理透明物体等模糊区域时，表现出更强的鲁棒性。具体性能数据表明，该方法在多个基准测试中均取得了优于现有方法的结果。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、增强现实和虚拟现实等场景，能够为单图像3D重建提供更高效和准确的解决方案。未来，该方法可能推动更多基于图像的3D重建技术的发展，提升相关应用的实用性和用户体验。

📄 摘要（原文）

State-of-the-art single-image 3D reconstruction methods often rely on complex hybrid architectures and loss functions, or compress geometry into latent spaces in order to leverage pre-trained latent diffusion models. In this work, we show that such architectural overhead and intricate loss formulations are unnecessary. We introduce a minimalist pixel-space Diffusion Transformer, built on a plain ViT, that operates directly on raw 3D point map patches and is conditioned on image tokens from a pre-trained DINOv3. Unlike existing latent diffusion approaches, we train our diffusion backbone entirely from scratch, eliminating the need for point map tokenizers. Despite its simplicity, our approach surpasses complex latent-based diffusion models while remaining significantly simpler than hybrid alternatives. Notably, it produces sharper geometric structure and is more robust in highly ambiguous regions, such as transparent objects.