CoRe-GS: Coarse-to-Refined Gaussian Splatting with Semantic Object Focus

📄 arXiv: 2509.04859v2 📥 PDF

作者: Hannah Schieber, Dominik Frischmann, Victor Schaack, Simon Boche, Angela Schoellig, Stefan Leutenegger, Daniel Roth

分类: cs.CV

发布日期: 2025-09-05 (更新: 2025-09-16)

💡 一句话要点

CoRe-GS：面向语义兴趣点的粗到精高斯溅射，加速移动重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 语义分割 移动重建 兴趣点 粗到精 新视角合成 实时渲染

📋 核心要点

  1. 现有高保真场景重建计算成本高，在移动场景和时间敏感任务中难以应用，且并非所有场景元素都同等重要。
  2. CoRe-GS通过粗到精的策略，首先快速构建场景的GS表示，然后仅对语义相关的兴趣点进行选择性细化。
  3. 实验表明，CoRe-GS在保证关键区域重建质量的同时，显著降低了训练时间，达到完整语义GS的25%。

📝 摘要（中文）

移动重建技术在远程指导和灾难响应等时间敏感型任务中具有巨大潜力，操作员需要快速准确地了解环境。完整的高保真场景重建计算成本高昂，且当只有特定的兴趣点（POI）对及时决策至关重要时，通常是不必要的。本文提出了CoRe-GS，一种以语义POI为中心的高斯溅射（GS）扩展方法。CoRe-GS首先生成一个快速的、可用于分割的GS表示，然后选择性地细化在数据采集期间检测到的属于语义相关POI的splat，而不是统一优化每个场景元素。这种有针对性的细化将训练时间减少到完整语义GS的25％，同时提高了最重要区域的新视角合成质量。在真实世界（SCRREAM）和合成（NeRDS 360）数据集上验证了CoRe-GS，表明优先考虑POI可以实现更快、更高质量的、针对操作需求的移动重建。

🔬 方法详解

问题定义：论文旨在解决移动重建中，完整高保真场景重建计算量大，耗时久，难以满足时间敏感任务需求的问题。现有方法通常对所有场景元素进行统一优化，忽略了场景中不同区域的重要性差异，导致计算资源的浪费和重建效率的降低。

核心思路：论文的核心思路是优先重建和优化场景中语义相关的兴趣点（POI）。通过粗到精的策略，首先快速构建整个场景的粗略表示，然后集中计算资源对POI区域进行精细化重建。这样可以在保证关键区域重建质量的同时，显著降低整体的计算成本和训练时间。

技术框架：CoRe-GS的整体框架包含以下两个主要阶段：1) 粗略重建阶段：使用标准的高斯溅射（GS）方法快速构建整个场景的粗略表示，并生成可用于语义分割的特征。2) 精细化重建阶段：利用语义分割模型检测场景中的POI，然后选择性地细化属于这些POI的splat。细化过程包括调整splat的位置、大小、颜色和透明度等参数，以提高POI区域的重建质量。

关键创新：CoRe-GS的关键创新在于其有选择性的细化策略。与传统的GS方法对所有splat进行统一优化不同，CoRe-GS只对语义相关的POI区域进行精细化重建。这种策略可以显著减少计算量，提高重建效率，并保证关键区域的重建质量。

关键设计：CoRe-GS的关键设计包括：1) 语义分割模型的选择：论文使用了一个预训练的语义分割模型来检测场景中的POI。模型的选择需要根据具体的应用场景和POI的类型进行调整。2) splat细化策略：论文使用了一种基于梯度下降的优化方法来细化POI区域的splat。优化的目标是最小化重建图像与真实图像之间的差异，并提高POI区域的重建质量。3) 损失函数设计：损失函数包括图像重建损失和正则化项，用于约束splat的形状和大小，防止过拟合。

📊 实验亮点

CoRe-GS在真实世界（SCRREAM）和合成（NeRDS 360）数据集上进行了验证。实验结果表明，CoRe-GS在保证关键区域重建质量的前提下，可以将训练时间减少到完整语义GS的25%。同时，CoRe-GS在POI区域的新视角合成质量方面也优于传统的GS方法。

🎯 应用场景

CoRe-GS在移动重建领域具有广泛的应用前景，尤其适用于远程指导、灾难响应等时间敏感型任务。通过快速重建场景中的关键信息，可以帮助操作员快速了解环境，做出及时决策。此外，该方法还可以应用于机器人导航、增强现实等领域，提高系统的效率和性能。

📄 摘要（原文）

Mobile reconstruction has the potential to support time-critical tasks such as tele-guidance and disaster response, where operators must quickly gain an accurate understanding of the environment. Full high-fidelity scene reconstruction is computationally expensive and often unnecessary when only specific points of interest (POIs) matter for timely decision making. We address this challenge with CoRe-GS, a semantic POI-focused extension of Gaussian Splatting (GS). Instead of optimizing every scene element uniformly, CoRe-GS first produces a fast segmentation-ready GS representation and then selectively refines splats belonging to semantically relevant POIs detected during data acquisition. This targeted refinement reduces training time to 25\% compared to full semantic GS while improving novel view synthesis quality in the areas that matter most. We validate CoRe-GS on both real-world (SCRREAM) and synthetic (NeRDS 360) datasets, demonstrating that prioritizing POIs enables faster and higher-quality mobile reconstruction tailored to operational needs.