ROI-GS: Interest-based Local Quality 3D Gaussian Splatting

📄 arXiv: 2510.01978v2 📥 PDF

作者: Quoc-Anh Bui, Gilles Rougeron, Géraldine Morin, Simone Gasparini

分类: cs.GR, cs.CV

发布日期: 2025-10-02 (更新: 2025-10-16)

备注: 4 pages, 3 figures, 3 tables

💡 一句话要点

提出ROI-GS，通过对象感知优化3D高斯溅射局部质量，提升感兴趣区域重建效果。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 感兴趣区域 对象感知 局部质量 三维重建

📋 核心要点

  1. 现有3D高斯溅射方法对场景均匀分配资源，导致感兴趣区域细节不足，模型尺寸过大。
  2. ROI-GS通过对象引导的相机选择和针对性训练，提升感兴趣区域的重建质量。
  3. 实验表明，ROI-GS显著提升局部质量，降低模型尺寸，并加速训练过程。

📝 摘要（中文）

本文旨在解决高效重建3D场景中感兴趣对象高细节的挑战。现有的3D高斯溅射(3DGS)方法在整个场景中均匀分配资源，限制了感兴趣区域(ROI)的精细细节，并导致模型尺寸膨胀。我们提出了ROI-GS，一个对象感知的框架，通过对象引导的相机选择、有针对性的对象训练以及将高保真感兴趣对象重建无缝集成到全局场景中，来增强局部细节。我们的方法优先考虑所选对象上更高分辨率的细节，同时保持实时性能。实验表明，ROI-GS显著提高了局部质量(高达2.96 dB PSNR)，同时将基线的整体模型尺寸减少了约17%，并实现了对单个感兴趣对象的场景的更快训练，优于现有方法。

🔬 方法详解

问题定义：现有3D高斯溅射方法在重建3D场景时，对所有区域采用相同的资源分配策略，导致感兴趣区域的细节不足，难以满足高质量重建的需求。同时，均匀分配资源也造成了模型尺寸的膨胀，增加了存储和计算负担。因此，如何高效地重建3D场景，并在感兴趣区域实现高细节的重建，是本文要解决的核心问题。

核心思路：ROI-GS的核心思路是对象感知，即根据场景中对象的语义信息，有选择性地分配计算资源。具体来说，该方法通过对象引导的相机选择，优先选择包含感兴趣对象的视角进行训练；通过针对性的对象训练，优化感兴趣区域的高斯参数；最后，将高保真对象重建无缝集成到全局场景中，从而在保证整体场景质量的同时，显著提升感兴趣区域的细节。

技术框架：ROI-GS的整体框架包含三个主要模块：1) 对象引导的相机选择：根据对象的可见性和重要性，选择合适的相机视角进行训练。2) 针对性的对象训练：对感兴趣对象区域的高斯参数进行优化，提升局部细节。3) 无缝集成：将高保真对象重建结果与全局场景进行融合，保证整体场景的一致性和真实感。

关键创新：ROI-GS的关键创新在于对象感知的资源分配策略。与现有方法不同，ROI-GS不是均匀地分配计算资源，而是根据对象的语义信息，有选择性地对感兴趣区域进行优化。这种策略能够有效地提升局部细节，同时降低模型尺寸，提高训练效率。

关键设计：ROI-GS的关键设计包括：1) 对象可见性评估：使用深度信息和语义分割结果，评估对象在不同相机视角下的可见性。2) 对象重要性评估：根据对象的语义类别和用户指定的权重，评估对象的重要性。3) 损失函数设计：设计针对感兴趣区域的损失函数，引导高斯参数的优化。4) 集成策略：采用泊松融合等技术，将高保真对象重建结果与全局场景进行无缝融合。

📊 实验亮点

实验结果表明，ROI-GS在局部质量上取得了显著提升，PSNR指标最高提升了2.96 dB。同时，ROI-GS将整体模型尺寸减少了约17%，并实现了对单个感兴趣对象的场景的更快训练。与现有方法相比，ROI-GS在保证整体场景质量的同时，显著提升了感兴趣区域的细节，并降低了计算成本。

🎯 应用场景

ROI-GS在诸多领域具有广泛的应用前景，例如：电商产品的3D展示，用户可以更清晰地查看商品的细节；文物保护，可以对文物进行高精度建模，方便研究和展示；机器人导航，可以帮助机器人更好地理解周围环境，提高导航的准确性和安全性。该研究的成果有助于推动3D重建技术在各行各业的应用。

📄 摘要（原文）

We tackle the challenge of efficiently reconstructing 3D scenes with high detail on objects of interest. Existing 3D Gaussian Splatting (3DGS) methods allocate resources uniformly across the scene, limiting fine detail to Regions Of Interest (ROIs) and leading to inflated model size. We propose ROI-GS, an object-aware framework that enhances local details through object-guided camera selection, targeted Object training, and seamless integration of high-fidelity object of interest reconstructions into the global scene. Our method prioritizes higher resolution details on chosen objects while maintaining real-time performance. Experiments show that ROI-GS significantly improves local quality (up to 2.96 dB PSNR), while reducing overall model size by $\approx 17\%$ of baseline and achieving faster training for a scene with a single object of interest, outperforming existing methods.