3DGSI-Assessor: A Large-Scale Dataset and An LMM-based Method for 3D Gaussian Splatting Image Quality Assessment

📄 arXiv: 2608.03279v1 📥 PDF

作者: Yuke Xing, Jiarui Wang, William Gordon, Zhu Li, Guangtao Zhai, Yiling Xu

分类: cs.CV

发布日期: 2026-08-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出3DGSI-Assessor以解决3D高斯点云图像质量评估问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D高斯点云 图像质量评估 多模态模型 新视图合成 数据集构建 几何与颜色质量 深度学习

📋 核心要点

  1. 现有的图像质量评估方法无法有效捕捉3D高斯点云压缩引入的特定失真，导致评估结果不准确。
  2. 论文提出了3DGS-IEval-15K+数据集和3DGSI-Assessor框架，能够同时评估几何和颜色质量，解决了维度失真独立诊断的问题。
  3. 3DGSI-Assessor在3DGS-IEval-15K+数据集上表现出色，达到了最先进的性能，并在其他新视图合成基准上也展现了良好的泛化能力。

📝 摘要（中文）

3D高斯点云（3DGS）已成为实时新视图合成（NVS）的主流表示方式，但其存储占用使得压缩成为实际应用的必要条件。3DGS的训练和压缩引入了特定于表示的失真，如浮动伪影和表面散射，而传统的图像质量评估（IQA）指标无法捕捉这些失真。此外，几何和颜色属性的独立压缩可能导致维度特定的失真，这些失真必须单独诊断，而现有指标仅报告单一的整体评分。为了解决这些问题，我们提出了3DGS-IEval-15K+，这是一个大规模的多维IQA数据集，包含来自10个不同场景的15,200张图像，基于6种代表性的3DGS算法在系统设计的压缩级别下生成，并从20个战略选择的视点渲染，标注了45,600个均值意见分数（MOS）。基于3DGS-IEval-15K+，我们提出了3DGSI-Assessor，一个集成全局语义和维度特定局部特征的大型多模态模型（LMM），能够在单次前向传递中预测所有三个维度。3DGSI-Assessor在3DGS-IEval-15K+上实现了最先进的性能，并在其他NVS基准上展现了竞争力的泛化能力。

🔬 方法详解

问题定义：本论文旨在解决3D高斯点云图像质量评估中的特定失真问题，现有方法无法有效捕捉压缩过程中产生的几何和颜色失真，导致评估结果不准确。

核心思路：提出3DGS-IEval-15K+数据集，包含多维度的质量评分，并基于此开发3DGSI-Assessor框架，能够在单次前向传递中同时评估几何和颜色质量，从而实现更全面的质量评估。

技术框架：3DGSI-Assessor框架集成了全局语义特征和维度特定的局部特征，采用大型多模态模型（LMM）进行训练和评估，整体流程包括数据输入、特征提取、维度预测和结果输出等主要模块。

关键创新：最重要的技术创新在于同时评估几何和颜色质量，突破了传统方法只能提供单一评分的局限，能够更精确地反映图像质量。

关键设计：在模型设计中，采用了特定的损失函数来平衡几何和颜色特征的影响，同时优化了网络结构以提高模型的学习能力和泛化性能。通过系统的参数设置，确保了模型在不同压缩级别下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在3DGS-IEval-15K+数据集上，3DGSI-Assessor实现了最先进的性能，相较于传统评估方法，提升了评估准确性，具体性能数据未提供，但展示了在其他新视图合成基准上的竞争力泛化能力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等需要高质量3D图像合成的场景。通过提供更准确的图像质量评估工具，能够提升用户体验和视觉效果，推动相关技术的实际应用和发展。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has become a dominant representation for real-time novel view synthesis (NVS), yet its storage footprint makes compression indispensable for practical deployment. 3DGS training and compression introduce representation-specific distortions such as floating artifacts and surface scattering, which conventional image quality assessment (IQA) metrics fail to capture. Moreover, the independent compression of geometric and color attributes may lead to decoupled dimension-specific distortions that must be diagnosed separately, yet existing metrics report only a single overall score. To address these gaps, we present 3DGS-IEval-15K+, a large-scale, multi-dimensional IQA dataset for compressed 3DGS, comprising 15,200 images from 10 diverse scenes, produced by 6 representative 3DGS algorithms at systematically designed compression levels and rendered from 20 strategically selected viewpoints spanning both training views and challenging novel views, annotated with 45,600 mean opinion scores (MOSs) across overall, geometry, and color quality. Based on 3DGS-IEval-15K+, we propose 3DGSI-Assessor, an all-in-one 3DGS IQA framework that integrates global semantic and dimension-specific local features within a large multimodal model (LMM), predicting all three dimensions in a single forward pass. 3DGSI-Assessor achieves state-of-the-art performance on 3DGS-IEval-15K+, and exhibits competitive generalization on other NVS benchmarks. Dataset and code will be released at https://github.com/YukeXing/3DGSI-Assessor.