Online Segment 3D Gaussians via Launching Virtual Drones

📄 arXiv: 2607.01628v1 📥 PDF

作者: Liwei Liao, Rongjie Wang, Ronggang Wang

分类: cs.CV

发布日期: 2026-07-02

💡 一句话要点

提出SAGO框架以解决3D高斯在线分割问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯分割 实时渲染 虚拟无人机 在线规划 Markov过程 交互式操作 计算机视觉

📋 核心要点

  1. 现有的3D高斯分割方法在每个场景的准备阶段耗时较长，限制了在线应用的实用性。
  2. 本文提出的SAGO框架通过虚拟无人机消除了设置阶段，将分割问题转化为在线的下一个最佳视图规划任务。
  3. 实验结果显示，SAGO在亚秒内完成3D资产提取，速度提升超过50倍，显著提高了交互式分割的效率。

📝 摘要（中文）

交互式3D高斯分割为实时操作3D场景提供了良机，但现有方法在每个场景的设置上耗时较长，通常需要数十秒甚至数分钟。为了解决这一问题，本文提出了一种新颖的无设置框架SAGO（Segment Any Gaussians Online），通过引入虚拟无人机，将3D分割问题重新构建为在线的下一个最佳视图规划任务。实验表明，SAGO能够在亚秒延迟内直接从3D高斯中提取干净的3D资产，相较于以往的无设置3D高斯分割框架，速度提升超过50倍。

🔬 方法详解

问题定义：本文旨在解决现有3D高斯分割方法在每个场景准备阶段耗时过长的问题，限制了其在线应用的能力。

核心思路：SAGO框架通过引入虚拟无人机，将3D分割问题转化为在线的下一个最佳视图规划任务，从而消除了繁琐的设置阶段。

技术框架：SAGO的整体架构包括虚拟无人机的部署、Markov过程的规划以及实时的3D高斯分割模块，确保了高效的交互式分割。

关键创新：SAGO的最大创新在于完全消除了传统方法的设置阶段，通过在线规划实现了实时分割，与现有方法相比具有本质的速度提升。

关键设计：在设计中，SAGO采用了高效的特征提取和分割算法，结合Markov过程优化无人机的视图选择，确保了分割的准确性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAGO在3D高斯分割任务中实现了亚秒级的延迟，相较于以往的无设置分割框架，速度提升超过50倍，显著提高了交互式分割的效率和实用性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、机器人操作等，能够实现更高效的3D场景编辑和对象操控。未来，SAGO框架有望在实时3D内容创建和交互式设计中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Interactive segmentation of 3D Gaussians offers a compelling opportunity for real-time manipulation of 3D scenes, thanks to the real-time rendering capability of 3D Gaussian Splatting (3DGS). However, existing methods require a time-consuming per-scene setup - typically tens of seconds or even minutes - before interactive segmentation can begin on a raw 3DGS scene. This setup involves multi-view mask preparation, mask lifting, and feature distillation, creating a major bottleneck for online applications. To address this limitation, we aim to completely eliminate the setup stage for interactive 3DGS segmentation while keeping the segmentation time practical (under 1 second). In this work, we present SAGO (Segment Any Gaussians Online), a novel setup-free framework for interactive 3DGS segmentation. By introducing virtual drones, our method reframes the 3D segmentation problem as an online Next-Best-View (NBV) planning task formulated within a Markov process. Extensive experiments demonstrate that SAGO can extract clean 3D assets directly from 3D Gaussians with sub-second latency, thereby enabling a broad range of downstream applications such as object manipulation and scene editing. Moreover, our method achieves over a 50x speedup compared to the previous setup-free 3DGS segmentation frameworks.