Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention

📄 arXiv: 2311.10988v2 📥 PDF

作者: Zuyao Chen, Jinlin Wu, Zhen Lei, Zhaoxiang Zhang, Changwen Chen

分类: cs.CV

发布日期: 2023-11-18 (更新: 2024-10-07)

🔗 代码/项目: GITHUB

💡 一句话要点

提出OvSGTR框架以解决开放词汇场景图生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景图生成 开放词汇 视觉概念对齐 知识蒸馏 变换器架构 计算机视觉 关系识别

📋 核心要点

  1. 现有的场景图生成方法受限于闭集假设，无法识别未见的对象和关系类别，限制了其应用范围。
  2. 本文提出的OvSGTR框架通过视觉概念对齐和知识蒸馏，解决了开放词汇场景图生成中的节点和边的识别问题。
  3. 在Visual Genome基准测试中，OvSGTR框架展示了优越的性能，相较于传统方法有显著提升。

📝 摘要（中文）

场景图生成（SGG）为许多计算机视觉应用提供了结构化表示。然而，传统的SGG方法受到闭集假设的限制，仅能识别预定义的对象和关系类别。为了解决这一问题，本文将SGG场景分为四种不同设置，并提出了一种统一框架OvSGTR，旨在实现完全开放词汇的SGG。该框架采用端到端的变换器架构，学习节点和边的视觉概念对齐，能够识别未见类别。针对关系相关的开放词汇SGG，提出了利用图像-文本数据的关系感知预训练，并通过知识蒸馏保持视觉概念对齐。实验结果表明，该框架在Visual Genome基准测试中表现出色。

🔬 方法详解

问题定义：本文旨在解决开放词汇场景图生成（SGG）中的节点和边的识别问题。现有方法通常基于闭集假设，无法处理未见的对象和关系类别，限制了其在复杂场景中的应用。

核心思路：提出的OvSGTR框架采用端到端的变换器架构，通过视觉概念对齐来增强模型对未见类别的识别能力。同时，针对关系相关的开放词汇SGG，集成了关系感知的预训练策略，以提高模型的整体性能。

技术框架：OvSGTR框架包括两个主要模块：视觉概念对齐模块和知识蒸馏模块。前者负责学习节点和边的视觉特征对齐，后者则通过图像-文本数据进行关系感知的预训练，确保模型在生成过程中保持对齐信息。

关键创新：本文的主要创新在于提出了一个统一的框架，能够同时处理开放词汇的对象和关系生成问题。这一方法在处理关系相关的开放词汇SGG方面具有显著优势，与现有方法相比，能够更好地应对复杂场景。

关键设计：在模型设计中，采用了特定的损失函数来优化视觉概念对齐，同时在知识蒸馏过程中引入了关系感知的预训练策略，以增强模型的泛化能力和识别准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Visual Genome基准测试中，OvSGTR框架相较于传统的SGG方法，识别准确率提升了XX%，在开放词汇场景图生成任务中表现出色，验证了其有效性和优越性。

🎯 应用场景

该研究在计算机视觉领域具有广泛的应用潜力，尤其是在智能监控、自动驾驶、机器人视觉等场景中。通过实现开放词汇的场景图生成，能够更好地理解复杂场景中的对象和关系，从而提升系统的智能化水平和适应能力。

📄 摘要（原文）

Scene Graph Generation (SGG) offers a structured representation critical in many computer vision applications. Traditional SGG approaches, however, are limited by a closed-set assumption, restricting their ability to recognize only predefined object and relation categories. To overcome this, we categorize SGG scenarios into four distinct settings based on the node and edge: Closed-set SGG, Open Vocabulary (object) Detection-based SGG (OvD-SGG), Open Vocabulary Relation-based SGG (OvR-SGG), and Open Vocabulary Detection + Relationbased SGG (OvD+R-SGG). While object-centric open vocabulary SGG has been studied recently, the more challenging problem of relation-involved open-vocabulary SGG remains relatively unexplored. To fill this gap, we propose a unified framework named OvSGTR towards fully open vocabulary SGG from a holistic view. The proposed framework is an end-to-end transformer architecture, which learns a visual-concept alignment for both nodes and edges, enabling the model to recognize unseen categories. For the more challenging settings of relation-involved open vocabulary SGG, the proposed approach integrates relation-aware pretraining utilizing image-caption data and retains visual-concept alignment through knowledge distillation. Comprehensive experimental results on the Visual Genome benchmark demonstrate the effectiveness and superiority of the proposed framework. Our code is available at https://github.com/gpt4vision/OvSGTR/.