Localized Symbolic Knowledge Distillation for Visual Commonsense Models

📄 arXiv: 2312.04837v2 📥 PDF

作者: Jae Sung Park, Jack Hessel, Khyathi Raghavi Chandu, Paul Pu Liang, Ximing Lu, Peter West, Youngjae Yu, Qiuyuan Huang, Jianfeng Gao, Ali Farhadi, Yejin Choi

分类: cs.AI, cs.CL, cs.CV

发布日期: 2023-12-08 (更新: 2023-12-12)

备注: Neurips 2023

💡 一句话要点

提出局部化符号知识蒸馏方法，提升视觉常识模型对图像区域的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉常识推理 局部化知识蒸馏 视觉-语言模型 大型语言模型 零样本学习

📋 核心要点

  1. 现有视觉-语言模型难以直接处理图像局部区域的推理需求，限制了其在需要精确定位的任务中的应用。
  2. 论文提出一种局部化知识蒸馏方法，利用大型语言模型生成局部区域的常识知识，并以此训练视觉-语言模型。
  3. 实验表明，该方法能够有效提升视觉-语言模型对图像局部区域的推理能力，优于直接使用指代表达式的基线方法。

📝 摘要（中文）

指令跟随视觉-语言（VL）模型提供了一种灵活的接口，支持各种零样本多模态任务。然而，操作完整图像的接口无法直接让用户“指向”并访问图像内的特定区域。这种能力不仅对于支持参考-定位的VL基准测试很重要，而且对于需要精确的图像内推理的实际应用也很重要。本文构建了局部化视觉常识模型，允许用户指定（多个）区域作为输入。通过从大型语言模型（LLM）中采样局部化常识知识来训练模型：具体来说，提示LLM以收集常识知识，给定全局字面图像描述和由一组VL模型自动生成的局部字面区域描述。通过一个单独训练的评论模型来选择高质量的例子，发现训练局部化常识语料库可以成功地蒸馏现有的VL模型，以支持参考作为输入的接口。零样本设置下的实验结果和人工评估表明，与将生成的指代表达式传递给LLM的基线相比，本文的蒸馏方法可以产生更精确的推理VL模型。

🔬 方法详解

问题定义：现有视觉-语言模型通常以整张图像作为输入，缺乏对图像局部区域进行精细推理的能力。这限制了它们在需要用户指定特定区域进行推理的任务中的应用，例如参考-定位任务。现有方法要么依赖于生成指代表达式，再将其输入到语言模型中，要么直接训练端到端的模型，但这些方法在精度和效率上存在不足。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大常识推理能力，为图像的局部区域生成相应的常识知识，然后使用这些知识来蒸馏现有的视觉-语言模型。通过这种方式，可以使模型具备对图像局部区域进行推理的能力，而无需显式地生成指代表达式。

技术框架：整体框架包含以下几个主要模块：1) 图像和区域描述生成模块：使用现有的视觉-语言模型自动生成全局图像描述和局部区域描述。2) 常识知识生成模块：提示大型语言模型（LLM），以图像描述和区域描述作为输入，生成相应的常识知识。3) 评论模型：训练一个评论模型，用于评估生成的常识知识的质量，并选择高质量的样本。4) 知识蒸馏模块：使用高质量的常识知识来蒸馏现有的视觉-语言模型，使其具备对图像局部区域进行推理的能力。

关键创新：最重要的创新点在于提出了局部化符号知识蒸馏的方法，将大型语言模型的常识知识迁移到视觉-语言模型中，使其具备对图像局部区域进行推理的能力。与现有方法相比，该方法无需显式地生成指代表达式，而是直接利用常识知识进行推理，从而提高了精度和效率。

关键设计：在常识知识生成模块中，使用了特定的prompt来引导LLM生成高质量的常识知识。评论模型的设计旨在评估生成知识的质量，并过滤掉低质量的样本。知识蒸馏过程中，使用了合适的损失函数来引导模型学习局部区域的常识知识。具体的参数设置和网络结构细节在论文中进行了详细描述（未知）。

📊 实验亮点

实验结果表明，该方法在零样本设置下，能够显著提升视觉-语言模型对图像局部区域的推理能力。与将生成的指代表达式传递给LLM的基线方法相比，该方法的性能有明显提升（具体提升幅度未知）。人工评估也表明，该方法生成的模型能够更准确地理解和推理图像局部区域的常识知识。

🎯 应用场景

该研究成果可应用于各种需要精确定位和推理的视觉-语言任务，例如视觉问答、图像编辑、机器人导航等。例如，在视觉问答中，用户可以指定图像中的某个区域，然后询问与该区域相关的问题。在机器人导航中，机器人可以根据用户的指令，识别并定位特定的物体。该研究有助于提升视觉-语言模型的实用性和智能化水平。

📄 摘要（原文）

Instruction following vision-language (VL) models offer a flexible interface that supports a broad range of multimodal tasks in a zero-shot fashion. However, interfaces that operate on full images do not directly enable the user to "point to" and access specific regions within images. This capability is important not only to support reference-grounded VL benchmarks, but also, for practical applications that require precise within-image reasoning. We build Localized Visual Commonsense models, which allow users to specify (multiple) regions as input. We train our model by sampling localized commonsense knowledge from a large language model (LLM): specifically, we prompt an LLM to collect commonsense knowledge given a global literal image description and a local literal region description automatically generated by a set of VL models. With a separately trained critic model that selects high-quality examples, we find that training on the localized commonsense corpus can successfully distill existing VL models to support a reference-as-input interface. Empirical results and human evaluations in a zero-shot setup demonstrate that our distillation method results in more precise VL models of reasoning compared to a baseline of passing a generated referring expression to an LLM.