GARField: Group Anything with Radiance Fields

📄 arXiv: 2401.09419v1 📥 PDF

作者: Chung Min Kim, Mingxuan Wu, Justin Kerr, Ken Goldberg, Matthew Tancik, Angjoo Kanazawa

分类: cs.CV, cs.GR

发布日期: 2024-01-17

备注: Project site: https://www.garfield.studio/ First three authors contributed equally

💡 一句话要点

提出GARField以解决3D场景分组模糊性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景分组 多视角一致性 层次化分组 特征场优化 动态场景理解

📋 核心要点

  1. 现有方法在3D场景分组时面临模糊性，难以确定不同层次的分组关系。
  2. GARField通过优化尺度条件的3D亲和特征场，允许一个点属于不同大小的多个组，从而解决分组模糊性。
  3. 实验结果表明，GARField在提取对象和子部分的分组上优于输入的SAM掩码，具有更高的保真度。

📝 摘要（中文）

分组在场景分解中存在固有的模糊性，如何判断挖掘机的轮子是独立的还是整体的一部分是一个挑战。本文提出了Group Anything with Radiance Fields（GARField），一种从已定位图像输入中将3D场景分解为语义上有意义的分组层次的方法。通过优化一个基于尺度的3D亲和特征场，GARField能够让世界中的一个点属于不同大小的多个组。该方法利用Segment Anything（SAM）提供的2D掩码，以尊重粗到细的层次结构的方式优化该特征场，从而一致地融合来自不同视角的冲突掩码。GARField在多种真实场景中评估，能够有效提取对象、对象簇及其各个子部分的分组，且其层次化分组在3D资产提取和动态场景理解等下游应用中具有潜在价值。

🔬 方法详解

问题定义：本文旨在解决3D场景分组中的模糊性问题，现有方法在处理不同层次的分组时存在困难，无法有效融合来自不同视角的信息。

核心思路：GARField的核心思想是通过优化一个尺度条件的3D亲和特征场，使得同一空间中的点可以归属于不同大小的分组，从而有效处理分组的模糊性。

技术框架：GARField的整体架构包括从Segment Anything（SAM）获取2D掩码，优化3D亲和特征场，并通过自动树构建或用户交互生成分组层次。主要模块包括特征场优化、层次结构构建和分组提取。

关键创新：GARField的主要创新在于其尺度条件的特征场设计，允许多视角一致的分组表示，显著提高了分组的保真度，与传统方法相比，能够更好地处理复杂场景中的分组模糊性。

关键设计：在技术细节上，GARField使用了特定的损失函数以优化特征场，确保不同视角的掩码能够一致地融合，并通过层次结构的构建来实现灵活的分组提取。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GARField在多种真实场景中表现出色，能够有效提取不同层次的分组，实验结果显示其分组保真度显著高于输入的SAM掩码，具体性能提升幅度未明确说明，但整体效果优于传统方法。

🎯 应用场景

GARField的研究成果在多个领域具有潜在应用价值，包括3D资产提取、动态场景理解和增强现实等。其层次化的分组能力能够为复杂场景的分析和理解提供更为精确的支持，推动相关技术的发展。

📄 摘要（原文）

Grouping is inherently ambiguous due to the multiple levels of granularity in which one can decompose a scene -- should the wheels of an excavator be considered separate or part of the whole? We present Group Anything with Radiance Fields (GARField), an approach for decomposing 3D scenes into a hierarchy of semantically meaningful groups from posed image inputs. To do this we embrace group ambiguity through physical scale: by optimizing a scale-conditioned 3D affinity feature field, a point in the world can belong to different groups of different sizes. We optimize this field from a set of 2D masks provided by Segment Anything (SAM) in a way that respects coarse-to-fine hierarchy, using scale to consistently fuse conflicting masks from different viewpoints. From this field we can derive a hierarchy of possible groupings via automatic tree construction or user interaction. We evaluate GARField on a variety of in-the-wild scenes and find it effectively extracts groups at many levels: clusters of objects, objects, and various subparts. GARField inherently represents multi-view consistent groupings and produces higher fidelity groups than the input SAM masks. GARField's hierarchical grouping could have exciting downstream applications such as 3D asset extraction or dynamic scene understanding. See the project website at https://www.garfield.studio/