GaussFlaw: Fine-Grained Perceptual Diagnosis for 3D Gaussian Splatting
作者: Shaocheng Shen, Zihan Zheng, Kejin Li, Lu Liu, Xiaoyun Zhang, Qiang Hu, Wenjun Zhang
分类: cs.CV
发布日期: 2026-11-02
💡 一句话要点
提出GaussFlaw以解决3D Gaussian Splatting的细粒度诊断问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D Gaussian Splatting 细粒度诊断 数据集构建 深度学习 多任务学习
📋 核心要点
- 现有的3D Gaussian Splatting方法在渲染伪影的细粒度诊断上存在不足，难以准确识别伪影的类型和位置。
- 本文提出GaussFlaw-80K数据集和GeoCritic模型，通过像素级标注和几何引导的多任务学习，解决伪影诊断问题。
- 实验结果显示，GeoCritic在AUC-J和Acc@1上分别达到0.9507和80.08%，并且在多种数据集上提升了全局和局部指标。
📝 摘要（中文）
3D Gaussian Splatting (3DGS) 实现了逼真的新视角合成和实时渲染，但其渲染伪影的细粒度诊断仍然具有挑战性。这些伪影通常是空间局部化的，并表现出多样的退化模式，难以通过全局质量指标和图像级评估基准进行表征。为了解决这一限制，本文引入了GaussFlaw-80K，这是第一个用于3DGS细粒度感知诊断的大规模数据集，包含80,049个伪影区域和14,289张渲染图像。基于此数据集，提出了GeoCritic模型，能够联合定位伪影并分类其缺陷类型。实验表明，GeoCritic在多个数据集上显著提升了诊断效果。
🔬 方法详解
问题定义：本文旨在解决3D Gaussian Splatting渲染伪影的细粒度诊断问题。现有方法无法有效识别伪影的具体位置和类型，导致诊断不够准确。
核心思路：提出GaussFlaw-80K数据集，通过模型辅助的人机协作流程，提供像素级标注的伪影区域和缺陷类型，从而将伪影诊断转化为可测量的任务。GeoCritic模型结合RGB外观与深度信息，能够同时定位伪影并分类其缺陷类型。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集包含80,049个伪影区域，GeoCritic模型通过多任务学习实现伪影的定位和分类。
关键创新：GaussFlaw-80K是首个大规模的细粒度诊断数据集，GeoCritic模型通过几何引导的多任务学习显著提升了伪影诊断的准确性，与传统方法相比具有本质区别。
关键设计：模型采用了深度学习框架，设计了特定的损失函数以优化伪影定位和分类的性能，同时在网络结构中融合了深度信息以增强模型的感知能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GeoCritic模型在AUC-J指标上达到0.9507，Acc@1指标为80.08%。通过诊断引导的优化，所有报告的全局和局部指标在多种数据集和3DGS骨干网络上均有所提升，证明了细粒度诊断的有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机图形学、虚拟现实和增强现实等。通过提升3D渲染的质量和准确性，能够为游戏开发、电影制作和科学可视化等行业提供更高效的解决方案，未来可能推动相关技术的广泛应用。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) enables photorealistic novel- view synthesis with real-time rendering, yet fine-grained di- agnosis of its rendering artifacts remains challenging. These artifacts are typically spatially localized and exhibit diverse degradation patterns, making them difficult to character- ize using global quality metrics and image-level assessment benchmarks, which provide no explicit indication of where they occur or what types of artifacts they represent. To ad- dress this limitation, we introduce GaussFlaw-80K, the first large-scale dataset for fine-grained perceptual diagnosis in 3DGS. Constructed through a model-assisted human-in-the- loop pipeline, GaussFlaw-80K contains 80,049 artifact re- gions across 14,289 rendered images, each annotated with a pixel-level mask and one of eight flaw labels spanning ge- ometric, blending, and photometric degradations. These an- notations turn 3DGS artifact diagnosis into an explicit and measurable task. Building on this dataset, we propose Ge- oCritic, a geometry-guided multi-task model that integrates RGB appearance with depth-derived cues to jointly localize artifacts and classify their flaw types. Beyond evaluation, we further demonstrate the downstream benefits of fine-grained diagnosis through three complementary targeted operations: Gaussian densification, attribute correction, and outlier prun- ing. Experiments show that GeoCritic achieves an AUC-J of 0.9507 and an Acc@1 of 80.08%, while diagnosis-guided re- finement improves all reported global and crop-level metrics across diverse datasets and 3DGS backbones.