DualDiff3D: Dual Structure-Appearance Diffusion Priors for Reliability-Enhanced 3D Gaussian Splatting

📄 arXiv: 2609.01516v1 📥 PDF

作者: Qian Wang, Yu Wang, Weiqi Li, Xinhua Cheng, Xiandong Meng, Ronggang Wang, Jian Zhang

分类: cs.CV

发布日期: 2026-09-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出DualDiff3D以解决3D重建中视角不足导致的质量问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 扩散先验 结构-外观注意力 虚拟现实 计算机视觉

📋 核心要点

  1. 现有的3D重建方法在输入视角有限时，重建质量较差且渲染的新视角存在伪影。
  2. 本文提出DualDiff，通过双重扩散先验和结构-外观注意力模块，分别提取结构信息和保持外观一致性。
  3. 实验结果显示，DualDiff3D在推理阶段超越了现有最先进的方法，且训练后性能进一步提升。

📝 摘要（中文）

尽管3D高斯点云（3DGS）在3D重建和新视角合成中取得了革命性进展，但在输入视角有限的情况下，重建质量往往较差，且渲染的新视角中会出现伪影。近期的研究尝试利用强大的扩散先验，但通常将渲染视图和参考视图沿额外维度连接在单一网络中处理，忽视了不同视角应保持外观相似但因视角变化而在结构上有所不同的固有特性，导致模糊现象。本文提出了DualDiff，一个新颖的管道，利用双重扩散先验和结构-外观注意力模块（SAA）引入参考指导，以改善从缺陷3D表示中渲染的低质量新视角。我们保留一个扩散分支以提取低质量新视角的结构信息，同时引入另一个分支以确保与参考视图的一致性。此外，我们提出了一个名为DualDiff3D的3D重建框架，集成了可靠性增强的渲染-优化-精炼（RRO）循环，以逐步、稳健地整合精炼的新视角，从而实现更准确的3DGS。大量实验表明，我们的方法在推理仅设置下超越了最先进的方法，且通过训练可获得进一步的性能提升。

🔬 方法详解

问题定义：本文旨在解决在有限视角下3D重建质量低下和伪影问题。现有方法通常将渲染视图与参考视图合并处理，导致模糊现象。

核心思路：提出DualDiff，通过双重扩散先验分别提取结构信息和保持外观一致性，避免了视角变化带来的冲突。

技术框架：整体架构包括双重扩散分支，一个专注于低质量新视角的结构提取，另一个确保与参考视图的一致性。同时，集成了可靠性增强的渲染-优化-精炼（RRO）循环。

关键创新：最重要的创新在于引入双重扩散先验和结构-外观注意力模块，解决了现有方法在处理不同视角时的模糊问题。

关键设计：在网络结构中，设置了两个独立的扩散分支，损失函数设计上强调结构与外观的一致性，确保了重建过程的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DualDiff3D在推理阶段的性能超越了当前最先进的方法，具体提升幅度达到XX%（具体数据待补充），并且通过训练进一步提高了性能，展示了其在3D重建领域的有效性。

🎯 应用场景

该研究在3D重建、计算机视觉和虚拟现实等领域具有广泛的应用潜力。通过提高重建质量，DualDiff3D可用于增强虚拟环境的真实感，推动相关技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

While 3D Gaussian Splatting (3DGS) has revolutionized 3D reconstruction and novel-view synthesis, scenarios with limited input views often lead to poor reconstruction quality and artifacts in rendered novel views. Recent efforts attempt to utilize powerful diffusion priors, yet they typically process rendered and reference views concatenated along an additional dimension in a single network. These methods overlook an inherent nature that different views should maintain appearance similarity but differ in structure due to view shifts, leading to blur caused by conflicts between the two properties. In this paper, we propose DualDiff, a novel pipeline that leverages dual diffusion priors with a Structure-Appearance Attention (SAA) module to introduce reference guidance for refining low-quality novel views rendered from flawed 3D representations. Specifically, we retain one diffusion branch to focus on extracting structural information from the low-quality novel views, while introducing another branch to ensure appearance consistency with reference views. Furthermore, we present a 3D reconstruction framework named DualDiff3D, which integrates a reliability-enhanced Render-Refine-Optimize (RRO) loop to progressively and robustly incorporate the refined novel views, yielding more accurate 3DGS. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods even in the inference-only setting, with further performance gains achievable through training. Our code and pre-trained weights are available at https://github.com/Akaneqwq/DualDiff3D.