WarpHammer: Densifying Scene Warps with 3D Object Priors for Extreme View Synthesis
作者: Michael Green, Gavriel Habib, Dvir Samuel, Tal Berkovitz Shalev, Issar Tzachor, Rami Ben-Ari, Or Litany
分类: cs.CV
发布日期: 2026-06-30
💡 一句话要点
提出WarpHammer以解决极端视角合成中的稀疏变形问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 新视角合成 3D重建 计算机视觉 多视几何 虚拟现实 增强现实 图像生成
📋 核心要点
- 现有的投影条件新视角合成方法在大视角变化时表现不佳，导致生成的图像质量下降。
- WarpHammer通过引入显式3D重建对象，增强了变形场景，解决了隐藏表面和伪影问题。
- 在多个基准测试中，WarpHammer在大视角偏差下生成的视角稳定性显著优于现有方法。
📝 摘要（中文）
论文介绍了WarpHammer，一个无需训练的框架，旨在解决现有投影条件下的新视角合成（NVS）方法在大视角变化时的性能下降问题。现有方法在大范围运动下，变形会变得稀疏，导致隐藏表面主导新视角并产生镜面伪影。WarpHammer通过引入来自原生3D生成先验的显式3D重建对象，补充缺失的前景表面并遮挡不应可见的背景点，从而恢复外观和相机线索。该方法在五个基准测试中表现出色，能够在强基线崩溃的视角偏差下生成稳定的新视角。
🔬 方法详解
问题定义：论文要解决的问题是现有新视角合成方法在大视角变化时的性能下降，尤其是变形稀疏和伪影问题。现有方法在大范围运动下，隐藏表面主导新视角，导致生成图像质量下降。
核心思路：WarpHammer的核心思路是利用来自原生3D生成先验的显式3D重建对象，补充缺失的前景表面并遮挡不应可见的背景点，从而恢复外观和相机线索。该方法不需要对基础模型进行微调，简化了流程。
技术框架：WarpHammer的整体架构包括三个主要模块：1) 从参考图像和辅助图像中提取信息；2) 使用预训练的多视几何基础模型预测统一的点云；3) 将点云融合到3D对象重建中，生成更真实的几何形状。
关键创新：WarpHammer的关键创新在于能够自然融合来自外部源的辅助对象视图，而无需已知的相机姿态。这一能力是当前NVS管道所不支持的，显著提升了生成的视角质量。
关键设计：在设计中，WarpHammer采用了多视几何模型进行点云预测，避免了用户提供相机姿态的需求，且通过显式对象表示增强了生成效果。
🖼️ 关键图片
📊 实验亮点
在五个基准测试中，WarpHammer在大视角偏差下生成的视角稳定性显著优于现有强基线，展示了其在处理复杂场景时的优势。具体而言，WarpHammer在极端视角合成任务中表现出更高的几何忠实度和视觉质量，解决了传统方法的不足。
🎯 应用场景
WarpHammer的研究成果在虚拟现实、增强现实和计算机图形学等领域具有广泛的应用潜力。通过提高新视角合成的质量，该技术可以用于游戏开发、电影制作以及任何需要高质量视觉效果的场景重建任务。未来，WarpHammer可能会推动更复杂场景的实时渲染和交互式应用的发展。
📄 摘要（原文）
Projection-conditioned novel view synthesis (NVS) warps an explicit 3D reconstruction of the input view into the target camera and conditions a generator on the warped rendering. This works well for small viewpoint changes but degrades sharply under large orbital motion: the warp becomes sparse around the orbited object, where hidden surfaces dominate the new view and mirror-like artifacts emerge, causing the generator to lose both pixel content and the implicit camera cue carried by the warp. We introduce WarpHammer, a training-free framework that resolves this failure mode by augmenting the warped scene with an explicit 3D reconstruction of the object obtained from a native 3D generative prior (e.g., SAM3D). The reconstructed object adds missing foreground surfaces and occludes background points that should no longer be visible, restoring both appearance and camera cues without fine-tuning the base model. The same explicit object representation further unlocks a capability current NVS pipelines do not support: incorporating auxiliary views of the object from sources outside the target scene, for example, a casual snapshot of a car paired with a manufacturer studio shot of the same model. We process the reference and auxiliary images jointly with a pretrained multi-view geometry foundation model, which predicts a unified point cloud that we fuse into the 3D object reconstruction. This yields substantially more faithful geometry than single-image reconstruction, without requiring user-provided camera poses for the auxiliary views. On five benchmarks, WarpHammer produces stable novel views at viewpoint deviations where strong baselines collapse, and is the first scene-level NVS method that can naturally fuse auxiliary, pose-unknown object views from an external source.