Variance Reduction on the Camera Axis: Multi-View Score Distillation for 3D

📄 arXiv: 2606.29964v1 📥 PDF

作者: Marian Lupascu, Mihai Sorin Stupariu, Ionut Mironica

分类: cs.CV

发布日期: 2026-06-29

备注: 30 pages, 19 figures. Submitted to WACV 2027 (Algorithms Track)

💡 一句话要点

提出多视角得分蒸馏以降低3D生成中的方差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 得分蒸馏 3D生成 多视角聚合 计算机视觉 扩散模型

📋 核心要点

  1. 现有方法在3D生成中使用单一视角估计梯度，导致高方差和形状一致性问题。
  2. 论文提出MV-SDI，通过在每一步聚合多个视角的梯度来降低方差，保持2D先验不变。
  3. 实验结果显示，K=2时CLIP R-Precision提升至83.8%，K=4时达到86.9%，优化步骤减少一半。

📝 摘要（中文）

得分蒸馏将预训练的2D扩散模型转化为3D生成器，但每步梯度是从单一随机视角估计的，导致高方差且缺乏全局形状一致性。以往研究通过在多视角数据上重新训练扩散先验来解决这一问题，虽然提高了一致性，但使得采样贡献与先验质量不可分离。本文提出多视角聚合得分蒸馏（MV-SDI），通过在每一步聚合K个视角的梯度来降低方差，同时保持先验不变。实验表明，在固定的10,000次UNet调用预算下，K=2时CLIP R-Precision从74.8%提升至83.8%，K=4时R-Precision达到86.9%，显著优于单视角基线。

🔬 方法详解

问题定义：本文旨在解决在3D生成中，现有得分蒸馏方法因依赖单一视角而导致的高方差和全局形状一致性不足的问题。

核心思路：提出多视角聚合得分蒸馏（MV-SDI），通过在每一步聚合K个视角的梯度来降低方差，同时保持2D先验不变，避免了重新训练的复杂性。

技术框架：MV-SDI的整体架构包括多个视角的采样、梯度聚合和反向传播三个主要模块。每一步从K个视角中采样并累积梯度，最终进行更新。

关键创新：最重要的创新在于通过聚合多个视角的梯度来降低方差，而不是依赖单一视角，从而实现了更好的全局一致性和性能提升。

关键设计：在参数设置上，K的选择对性能影响显著，K=2和K=4分别在不同实验中表现出色；同时，采用反对称对立对的视角选择策略，确保了均衡的角度覆盖。实验中未涉及多视角数据的重新训练，简化了流程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用MV-SDI方法时，K=2时CLIP R-Precision从74.8%提升至83.8%，CLIP得分从0.297提升至0.312；K=4时R-Precision达到86.9%，在所有对齐指标上均优于单视角基线，优化步骤减少一半，展现出显著的性能提升。

🎯 应用场景

该研究在3D生成领域具有广泛的应用潜力，特别是在计算机视觉、虚拟现实和增强现实等领域。通过降低生成过程中的方差，能够提高生成内容的质量和一致性，进而提升用户体验和应用效果。未来，该方法可能会与其他生成模型结合，推动更复杂场景的生成能力。

📄 摘要（原文）

Score distillation turns a pretrained 2D diffusion model into a 3D generator, but the per-step gradient is estimated from a single randomly chosen view: it is high-variance and blind to global shape consistency. Prior work addresses this by retraining the diffusion prior on multi-view data; this improves consistency but makes the sampling contribution inseparable from prior quality. We instead isolate the sampling axis. The per-step gradient is one noisy sample of an expectation over views; aggregating K samples per step at a fixed total UNet budget reduces variance without touching the prior. We introduce Multi-View Aggregated Score Distillation (MV-SDI), which aggregates gradients from K views per step via gradient accumulation, keeping peak memory unchanged and the 2D prior frozen, and draws views as antithetic antipodal pairs, a prior-independent geometric property, for balanced angular coverage. At a fixed 10,000-UNet-call budget, K=2 raises CLIP R-Precision from 74.8% to 83.8% and CLIP score from 0.297 to 0.312, with consistent gains on HPSv2 and ImageReward and a 0.0% divergence rate on the 43-prompt benchmark; optimization steps halve as a consequence. K=4 gives a fourfold step reduction at R-Precision 86.9% and CLIP 0.307, still well above the single-view baseline on every alignment metric. MV-SDI is compatible with gradient-based score-distillation pipelines, including Score Distillation via Inversion, and requires no retraining and no multi-view data.