GROUNDHOG: Grounding Large Language Models to Holistic Segmentation

📄 arXiv: 2402.16846v2 📥 PDF

作者: Yichi Zhang, Ziqiao Ma, Xiaofeng Gao, Suhaila Shakiah, Qiaozi Gao, Joyce Chai

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-02-26 (更新: 2024-04-16)

备注: Accepted to CVPR 2024. Website: https://groundhog-mllm.github.io/

💡 一句话要点

提出GROUNDHOG以解决多模态语言模型的细粒度视觉理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 细粒度视觉理解 整体分割 视觉实体标记 基础化

📋 核心要点

  1. 现有的多模态大型语言模型在语言与对象的基础化上主要依赖边界框，缺乏细粒度的像素级表示，限制了视觉理解的深度。
  2. 本文提出的GROUNDHOG通过整体分割将大型语言模型进行基础化，使用掩码特征提取器和视觉实体标记来增强模型的理解能力。
  3. 实验结果显示，GROUNDHOG在多种语言基础任务上无需特定任务微调即可实现优越性能，并显著降低了对象幻觉现象。

📝 摘要（中文）

大多数多模态大型语言模型（MLLMs）通过因果语言建模学习语言与对象的对应关系，然而这种方法缺乏对像素级表示的关注，限制了细粒度视觉理解的能力。本文提出了GROUNDHOG，一个通过整体分割将大型语言模型进行基础化的MLLM。GROUNDHOG结合了掩码特征提取器，将提取的特征转换为视觉实体标记，并通过检索和合并实体掩码将可基础化短语与统一的基础掩码连接。为训练GROUNDHOG，我们精心策划了M3G2数据集，该数据集包含丰富注释的分割基础数据。实验结果表明，GROUNDHOG在多种语言基础任务上表现优越，显著减少了对象幻觉，并在复杂视觉输入的基础化上表现更佳，提供了易于理解的失败案例诊断。

🔬 方法详解

问题定义：本文旨在解决现有多模态大型语言模型在语言与对象基础化过程中缺乏细粒度像素级表示的问题。现有方法主要依赖边界框，导致视觉理解能力不足。

核心思路：GROUNDHOG通过整体分割将大型语言模型进行基础化，采用掩码特征提取器将图像特征转换为视觉实体标记，从而实现更精准的语言与视觉的对应关系。

技术框架：整体架构包括掩码特征提取器、视觉实体标记生成模块和基础掩码合并模块。掩码特征提取器负责从图像中提取特征，生成的视觉实体标记与语言短语进行连接，最终形成统一的基础掩码。

关键创新：最重要的技术创新在于将整体分割与大型语言模型结合，突破了传统方法对边界框的依赖，实现了更高层次的视觉理解和语言基础化。

关键设计：在参数设置上，GROUNDHOG使用了特定的损失函数以优化基础化效果，并设计了适应性强的网络结构，以支持多模态输入的处理。整体流程经过精心调试，以确保模型在多种任务上的泛化能力。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，GROUNDHOG在多种语言基础任务上表现优越，尤其是在复杂视觉输入的基础化上，显著降低了对象幻觉现象。与基线模型相比，GROUNDHOG的性能提升幅度达到XX%，展示了其在细粒度视觉理解中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等。通过提高多模态理解能力，GROUNDHOG能够在复杂场景下提供更准确的视觉与语言交互，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Most multimodal large language models (MLLMs) learn language-to-object grounding through causal language modeling where grounded objects are captured by bounding boxes as sequences of location tokens. This paradigm lacks pixel-level representations that are important for fine-grained visual understanding and diagnosis. In this work, we introduce GROUNDHOG, an MLLM developed by grounding Large Language Models to holistic segmentation. GROUNDHOG incorporates a masked feature extractor and converts extracted features into visual entity tokens for the MLLM backbone, which then connects groundable phrases to unified grounding masks by retrieving and merging the entity masks. To train GROUNDHOG, we carefully curated M3G2, a grounded visual instruction tuning dataset with Multi-Modal Multi-Grained Grounding, by harvesting a collection of segmentation-grounded datasets with rich annotations. Our experimental results show that GROUNDHOG achieves superior performance on various language grounding tasks without task-specific fine-tuning, and significantly reduces object hallucination. GROUNDHOG also demonstrates better grounding towards complex forms of visual input and provides easy-to-understand diagnosis in failure cases.