Relation-Centric Open-Vocabulary 3D Gaussian Segmentation

📄 arXiv: 2607.01140v1 📥 PDF

作者: Eunsung Cha, Hyunjoon Lee, Jaesik Park

分类: cs.CV

发布日期: 2026-07-01

备注: Project Page: https://eunsungcha.github.io/PairGS-web/

💡 一句话要点

提出PairGS框架以解决开放词汇3D高斯分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 3D高斯分割 成对关系建模 层次聚类 计算机视觉 机器人视觉 增强现实

📋 核心要点

  1. 核心问题：现有方法在开放词汇3D高斯分割中存在噪声分割和低效优化的问题，难以准确处理复杂查询。
  2. 方法要点：提出PairGS框架，通过建模高斯之间的成对关系，利用3D高斯表示的信号进行高效分割。
  3. 实验或效果：PairGS在开放词汇3D高斯分割基准上取得了最先进的结果，且其快速变体速度提升达50倍。

📝 摘要（中文）

开放词汇3D高斯分割面临挑战，因为它需要理解多样化的语言查询并准确分离物体边界上的高斯分布。现有方法要么将语言知识嵌入到单个高斯中以提高查询响应性，要么优化每个高斯实例特征以编码物体身份。然而，这些策略可能导致高斯分割噪声或依赖于成本低效的场景优化。本文提出PairGS框架，将高斯分割重新构建为高斯之间的成对关系建模。通过利用3D高斯表示提供的丰富信号，PairGS显式构建关系图进行分割，避免了繁重的优化过程。该方法在开放词汇3D高斯分割基准上取得了最先进的结果，快速变体比基于优化的实例特征方法快50倍。

🔬 方法详解

问题定义：本文旨在解决开放词汇3D高斯分割中的语言理解与高斯分离的挑战。现有方法往往导致高斯分割结果噪声大，且优化过程成本高昂。

核心思路：提出PairGS框架，将高斯分割视为高斯之间的成对关系建模。通过这种方式，可以更好地利用3D高斯表示中的丰富信号，提升分割的准确性和效率。

技术框架：PairGS的整体架构包括三个主要模块：首先，使用低维描述符提出稀疏边缘候选；其次，仅在这些候选上计算精确的成对亲和度；最后，构建层次聚类树以支持多粒度查询。

关键创新：PairGS的主要创新在于通过显式构建关系图进行分割，避免了传统方法中繁重的优化过程。这种方法使得分割更加高效且准确。

关键设计：在设计中，使用低维描述符来生成边缘候选，确保计算效率。同时，采用层次聚类树结构以支持多层次的查询需求，提升了系统的灵活性和响应速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PairGS在开放词汇3D高斯分割基准上取得了最先进的结果，且其快速变体的速度比基于优化的实例特征方法快50倍，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、增强现实和自动驾驶等场景，能够有效处理复杂环境中的物体分割任务。其高效的分割方法将为实时应用提供支持，提升系统的智能化水平。

📄 摘要（原文）

Open-vocabulary 3D Gaussian segmentation is challenging because it requires language understanding for diverse queries and accurate separation of Gaussians along object boundaries. Prior approaches either embed language knowledge into individual Gaussians to improve query responsiveness or optimize per-Gaussian instance features to encode object identity. However, these strategies may produce noisy Gaussian segmentations or rely on cost-inefficient per-scene optimization. We propose PairGS, a framework that reframes Gaussian segmentation as modeling pairwise relations between Gaussians. 3D Gaussian representations provide rich signals for relation estimation, such as view contribution weights and multi-view mask evidence. By leveraging these cues, PairGS explicitly constructs a relation graph for segmentation without a heavy optimization process. PairGS first proposes sparse edge candidates using low-dimensional descriptors, computes precise pairwise affinities only on those candidates, and builds a hierarchical cluster tree for multi-granular querying. It achieves state-of-the-art results on open-vocabulary 3D Gaussian segmentation benchmarks, while the fast variant is 50x faster than optimization-based instance-feature approaches.