PRISM: Feed-Forward Single-Image 3D Reconstruction via Geometric Warp-Residual Modeling
作者: Zhijie Zheng, Xinhao Xiang, Jiawei Zhang
分类: cs.CV
发布日期: 2026-06-24
💡 一句话要点
提出PRISM框架以解决单图像3D重建问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单图像重建 3D重建 几何建模 前馈网络 残差修正 虚拟现实 机器人导航 内容创作
📋 核心要点
- 现有方法在单图像3D重建中依赖迭代扩散采样，限制了实际应用的效率和速度。
- PRISM框架通过几何前向扭曲直接从输入图像覆盖目标视图，仅留下紧凑的残差供编码器修正，避免了扩散采样。
- 在三个基准测试上的实验结果显示，PRISM在重建质量上与扩散方法相当，同时推理时间减少至36秒，显著提升了效率。
📝 摘要（中文）
从单幅图像重建3D场景是计算机视觉中的一个基本挑战，广泛应用于虚拟现实、机器人和内容创作等领域。尽管近期方法通过利用相机控制的视频扩散模型取得了显著性能，但依赖迭代扩散采样限制了其实际应用。本文提出PRISM，一个前馈框架，通过几何前向扭曲和学习的残差修正，将多视图潜在预测分解为无参数的几何先验和学习的残差修正，推理时无需扩散采样。为实现从纯合成训练数据的泛化，设计了结合潜在监督蒸馏和感知微调的两阶段训练策略。大量实验表明，PRISM在重建质量上与基于扩散的方法具有竞争力，同时将每个场景的推理时间显著减少至36秒。
🔬 方法详解
问题定义：本文旨在解决从单幅图像重建3D场景的挑战，现有方法由于依赖迭代扩散采样，导致推理速度慢，难以在实际应用中广泛部署。
核心思路：PRISM框架的核心思想是利用几何前向扭曲直接生成目标视图，减少了对扩散采样的依赖，仅需修正残差，从而提高了推理效率。
技术框架：PRISM的整体架构包括两个主要模块：几何先验模块和残差修正模块。几何先验模块负责生成初步的3D重建，而残差修正模块则通过学习的方式对初步结果进行优化。
关键创新：PRISM的创新在于其无参数的几何先验设计和学习的残差修正，这与传统方法依赖于复杂的迭代过程形成鲜明对比，显著提高了推理速度和效率。
关键设计：在训练过程中，采用了两阶段策略，首先进行潜在监督蒸馏以实现几何泛化，然后通过感知微调优化外观质量。网络结构设计上，注重减少参数量，以提高推理速度。
🖼️ 关键图片
📊 实验亮点
在三个基准测试中，PRISM的重建质量与现有的扩散方法相当，且推理时间显著减少至36秒，展现出优越的效率和实用性，具有重要的实验价值。
🎯 应用场景
该研究在虚拟现实、机器人导航和内容创作等领域具有广泛的应用潜力。通过快速且高质量的3D重建，PRISM能够为实时场景理解和交互提供支持，推动相关技术的实际应用和发展。
📄 摘要（原文）
Reconstructing 3D scenes from a single image is a fundamental challenge in computer vision, with broad applications in virtual reality, robotics, and content creation. Recent methods achieve outstanding performance by leveraging camera-controlled video diffusion models, but rely on iterative diffusion sampling, which greatly limits their practical deployment. We observe that geometric forward warping alone can cover the majority of a target view directly from the input image, with only a compact residual left for the encoder to correct. Motivated by this observation, we propose PRISM, a feed-forward framework that decomposes multi-view latent prediction into a parameter-free geometric prior and a learned residual correction, with no diffusion sampling required at inference. To enable generalization from purely synthetic training data, we devise a two-stage training strategy combining latents supervised distillation for geometric generalization and perceptual fine-tuning for appearance quality optimization. Extensive experiments on three benchmarks demonstrate that PRISM achieves competitive reconstruction quality compared with diffusion-based methods, while reducing inference time dramatically to only 36 seconds per scene.