Online Segment 3D Gaussians via Launching Virtual Drones

📄 arXiv: 2607.01628 📥 PDF

作者: Liwei Liao, Rongjie Wang, Ronggang Wang

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出SAGO框架以解决3D高斯在线分割问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯分割 实时渲染 虚拟无人机 下一最佳视图 Markov过程 在线分割 计算机视觉

📋 核心要点

  1. 现有的3D高斯分割方法在每个场景的准备阶段耗时较长，成为在线应用的瓶颈。
  2. 本文提出的SAGO框架通过引入虚拟无人机，消除了设置阶段，将分割问题转化为在线的下一最佳视图规划任务。
  3. 实验结果显示，SAGO在亚秒延迟下提取3D资产的速度超过了以往方法，提升幅度超过50倍。

📝 摘要（中文）

交互式3D高斯分割为实时操作3D场景提供了良机，但现有方法在每个场景的设置上耗时较长，通常需要数十秒甚至数分钟。为了解决这一问题，本文提出了一种名为SAGO（在线分割任意高斯）的新框架，旨在完全消除交互式3D高斯分割的设置阶段，同时保持分割时间在1秒以内。通过引入虚拟无人机，我们将3D分割问题重新构建为在线的下一最佳视图规划任务。实验表明，SAGO能够在亚秒延迟下直接从3D高斯中提取干净的3D资产，支持广泛的下游应用，并且相比于以往的无设置3D高斯分割框架，速度提升超过50倍。

🔬 方法详解

问题定义：本文旨在解决现有3D高斯分割方法在每个场景准备阶段耗时过长的问题，导致无法实现实时交互式分割。

核心思路：SAGO框架通过引入虚拟无人机，将3D分割问题转化为在线的下一最佳视图规划任务，避免了繁琐的设置过程，从而实现快速分割。

技术框架：该框架包括虚拟无人机的引入、Markov过程的建模以及在线分割算法的实现。主要模块包括视图规划模块和分割执行模块。

关键创新：SAGO的核心创新在于消除了传统方法中的设置阶段，直接实现在线分割，显著提高了处理速度和实时性。

关键设计：在设计中，采用了Markov过程来优化视图选择，确保在分割过程中能够快速响应场景变化，同时保持高质量的分割结果。具体的参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAGO框架在处理3D高斯分割时，能够在亚秒内完成分割任务，相比于以往的无设置3D高斯分割框架，速度提升超过50倍，展示了其在实时应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、游戏开发和3D场景编辑等。通过实现快速的3D高斯分割，用户可以实时操作和编辑复杂的3D场景，提升交互体验和工作效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Interactive segmentation of 3D Gaussians offers a compelling opportunity for real-time manipulation of 3D scenes, thanks to the real-time rendering capability of 3D Gaussian Splatting (3DGS). However, existing methods require a time-consuming per-scene setup - typically tens of seconds or even minutes - before interactive segmentation can begin on a raw 3DGS scene. This setup involves multi-view mask preparation, mask lifting, and feature distillation, creating a major bottleneck for online applications.To address this limitation, we aim to completely eliminate the setup stage for interactive 3DGS segmentation while keeping the segmentation time practical (under 1 second). In this work, we present SAGO (Segment Any Gaussians Online), a novel setup-free framework for interactive 3DGS segmentation. By introducing virtual drones, our method reframes the 3D segmentation problem as an online Next-Best-View (NBV) planning task formulated within a Markov process. Extensive experiments demonstrate that SAGO can extract clean 3D assets directly from 3D Gaussians with sub-second latency, thereby enabling a broad range of downstream applications such as object manipulation and scene editing. Moreover, our method achieves over a 50x speedup compared to the previous setup-free 3DGS segmentation frameworks.