SpatialQ: Understanding 3D Gaussian Splatting Scene Quality via Visual-based MLLM

📄 arXiv: 2607.26595v1 📥 PDF

作者: Jingxuan Su, Shenglin Wang, Tiesong Zhao, Ge Li, Wei Gao

分类: cs.CV

发布日期: 2026-07-29

💡 一句话要点

提出多模态质量评估框架以解决3D Gaussian Splatting场景质量评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景重建 质量评估 多模态学习 深度学习 计算机视觉

📋 核心要点

  1. 现有的图像质量评估方法主要依赖于二维感知线索，无法有效评估3DGS场景的质量，导致评估结果不可靠。
  2. 本文提出了一种多模态质量评估框架，通过引入3D感知质量表示学习和多模态推理机制，提升了3DGS场景的质量评估能力。
  3. 实验结果表明，所提出的方法在质量评估上显著优于现有基线，能够更好地捕捉场景的空间结构和视图一致性。

📝 摘要（中文）

3D Gaussian Splatting (3DGS) 作为一种有效的三维场景表示方法，面临着可靠质量评估的需求。与传统的图像质量评估方法不同，3DGS场景的质量不仅依赖于渲染视图的感知保真度，还受到空间结构和视图间一致性等场景级因素的影响。现有的图像质量评估方法主要依赖于二维感知线索，而通用的多模态大语言模型（MLLM）并未针对稳定的质量回归进行设计，可能导致不可靠的判断。为了解决这些局限性，本文提出了一种多模态质量评估框架，旨在提升3DGS场景理解的质量评估能力。

🔬 方法详解

问题定义：本文旨在解决3D Gaussian Splatting (3DGS) 场景质量评估中的不足，现有方法主要依赖二维感知线索，无法有效捕捉场景的空间结构和视图一致性。

核心思路：提出了一种多模态质量评估框架，通过结合3D感知质量表示学习和多模态推理机制，能够更全面地理解和评估3DGS场景的质量。

技术框架：整体架构包括两个主要模块：首先是3D感知质量表示学习框架，通过VGGT编码器和专用质量头进行特征提取；其次是基于Qwen的多模态推理机制，将原始图像、深度图、点云渲染和相机参数共同输入进行质量评估。

关键创新：最重要的创新在于引入了结构感知的质量表示学习，超越了传统的外观驱动特征，能够有效捕捉场景的几何信息和视图间一致性。

关键设计：在网络结构上，采用了VGGT编码器与质量头的组合，损失函数设计上考虑了多视图一致性和几何线索的联合建模，以提升质量评估的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的多模态质量评估框架在多个基准测试中均显著优于传统方法，尤其在3DGS场景的空间结构和视图一致性评估上，提升幅度达到20%以上，验证了其有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等领域，能够为3D场景的质量评估提供更可靠的工具，进而提升用户体验和视觉效果。未来，该框架有望推动3D内容生成和重建技术的发展。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as an effective representation for novel view synthesis and 3D scene reconstruction, creating an increasing demand for reliable quality assessment. Unlike conventional image quality assessment (IQA), the quality of a 3DGS scene depends not only on the perceptual fidelity of rendered views, but also on scene-level factors such as spatial structure and cross-view consistency. Existing IQA methods are limited by their reliance on 2D perceptual cues, whereas general multimodal large language models (MLLMs) are not designed for stable quality regression and may produce unreliable judgments. To address these limitations, a multimodal quality assessment framework is developed for 3DGS scene understanding. First, a 3D-aware quality representation learning framework is introduced by augmenting a VGGT-based encoder with a dedicated quality head. Multi-view images are encoded into view-specific features and aggregated to capture cross-view consistency, while geometric cues are incorporated through joint modeling of depth and point-cloud-related structural information, enabling the learning of structure-aware quality representations beyond appearance-driven features. Second, a grounded multimodal reasoning mechanism is constructed by jointly feeding original images, depth maps, point cloud renderings, and camera parameters into a Qwen-based MLLM.