Neural Slot Interpreters: Grounding Object Semantics in Emergent Slot Representations

📄 arXiv: 2403.07887v4 📥 PDF

作者: Bhishma Dedhia, Niraj K. Jha

分类: cs.CV, cs.AI

发布日期: 2024-02-02 (更新: 2025-05-09)

💡 一句话要点

提出神经槽解释器以解决对象语义的基础问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经槽解释器 对象语义 视觉基础 对比学习 多模态学习 智能机器人 少样本分类

📋 核心要点

  1. 现有方法在对象语义的基础和推理方面存在不足，难以实现人类认知的复杂性。
  2. 论文提出神经槽解释器（NSI），通过嵌套模式和对比学习实现对象语义的有效基础。
  3. 实验结果显示，NSI在少量标注数据下学习到的表示更具普适性，并在复杂场景中表现优越。

📝 摘要（中文）

多项人类认知理论认为，智能源于形成抽象可组合概念的能力，并将其与环境联系起来，从而进行推理。然而，这一人类思维的三重奏在现代智能机器中仍然难以实现。本文探讨从视觉场景中提取的槽表示是否能作为适当的组合抽象，以实现基础和推理。我们提出了神经槽解释器（NSI），其核心是一个嵌套的模式，利用简单的语法规则将场景中的对象语义组织成以对象为中心的模式原语。NSI度量通过结构化对比学习目标学习将原语基础到槽中，从而推理跨模态对齐。实验表明，NSI在视觉基础方面的有效性和可解释性超越了传统的边界框方法。

🔬 方法详解

问题定义：本文旨在解决如何有效地将对象语义与视觉场景中的槽表示相结合的问题。现有方法主要依赖边界框，难以捕捉复杂的对象关系和语义信息。

核心思路：NSI通过嵌套模式和简单的语法规则，将场景中的对象语义组织成对象中心的模式原语，从而实现更高效的语义基础和推理。

技术框架：NSI的整体架构包括槽表示的提取、模式原语的组织和基于对比学习的槽基础过程。主要模块包括视觉特征提取、语义组织和对比学习损失计算。

关键创新：NSI的主要创新在于其嵌套模式的设计，使得槽表示能够超越传统的图像网格，直接与空间对象绑定，从而提升了视觉基础的效果。

关键设计：在损失函数方面，NSI采用结构化对比学习目标，强调跨模态对齐；网络结构上，NSI通过多层次的槽表示和模式原语的组合，增强了模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用NSI的视觉变换器在少量标注数据下，能够在困难的少样本分类任务中超越基于补丁的标记，显示出更强的泛化能力和更高的准确率。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等，能够提升机器对复杂场景的理解和推理能力。未来，NSI有望在多模态学习和人机交互中发挥重要作用，推动智能系统的进一步发展。

📄 摘要（原文）

Several accounts of human cognition posit that our intelligence is rooted in our ability to form abstract composable concepts, ground them in our environment, and reason over these grounded entities. This trifecta of human thought has remained elusive in modern intelligent machines. In this work, we investigate whether slot representations extracted from visual scenes serve as appropriate compositional abstractions for grounding and reasoning. We present the Neural Slot Interpreter (NSI), which learns to ground object semantics in slots. At the core of NSI is a nested schema that uses simple syntax rules to organize the object semantics of a scene into object-centric schema primitives. Then, the NSI metric learns to ground primitives into slots through a structured contrastive learning objective that reasons over the intermodal alignment. Experiments with a bi-modal object-property and scene retrieval task demonstrate the grounding efficacy and interpretability of correspondences learned by NSI. From a scene representation standpoint, we find that emergent NSI slots that move beyond the image grid by binding to spatial objects facilitate improved visual grounding compared to conventional bounding-box-based approaches. From a data efficiency standpoint, we empirically validate that NSI learns more generalizable representations from a fixed amount of annotation data than the traditional approach. We also show that the grounded slots surpass unsupervised slots in real-world object discovery and scale with scene complexity. Finally, we investigate the downstream efficacy of the grounded slots. Vision Transformers trained on grounding-aware NSI tokenizers using as few as ten tokens outperform patch-based tokens on challenging few-shot classification tasks.