PSALM: Pixelwise SegmentAtion with Large Multi-Modal Model

📄 arXiv: 2403.14598v1 📥 PDF

作者: Zheng Zhang, Yeyao Ma, Enming Zhang, Xiang Bai

分类: cs.CV

发布日期: 2024-03-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出PSALM以解决图像分割任务中的多模态挑战

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像分割 多模态模型 掩码解码器 联合训练 零-shot学习 计算机视觉 深度学习

📋 核心要点

  1. 现有的多模态模型在处理图像分割任务时面临文本输出的限制，难以有效生成分割掩码。
  2. PSALM通过引入掩码解码器和多种输入形式，设计了一种灵活的架构，支持多任务联合训练。
  3. 在多个基准测试中，PSALM展现了卓越的性能，特别是在开放词汇分割和视频对象分割等新任务上具有零-shot能力。

📝 摘要（中文）

PSALM是对大型多模态模型（LMM）的强大扩展，旨在解决分割任务中的挑战。为克服LMM仅限于文本输出的局限性，PSALM引入了掩码解码器和精心设计的输入架构，能够处理多种分割任务。该架构包括图像、任务指令、条件提示和掩码标记，使模型能够有效生成和分类分割掩码。PSALM的灵活设计支持跨多个数据集和任务的联合训练，提升了性能和任务泛化能力。PSALM在多个基准测试中取得了优异的结果，并在未见任务上展现了零-shot能力，标志着计算机视觉领域的重要进展。

🔬 方法详解

问题定义：PSALM旨在解决现有多模态模型在图像分割任务中仅限于文本输出的问题，导致生成分割掩码的能力不足。

核心思路：通过引入掩码解码器和多模态输入架构，PSALM能够处理图像、任务指令和条件提示，从而有效生成和分类分割掩码。

技术框架：PSALM的整体架构包括输入模块（处理图像和提示）、掩码解码器（生成分割掩码）和联合训练机制，支持多任务和多数据集的训练。

关键创新：PSALM的主要创新在于其灵活的输入架构和掩码解码器的结合，使其能够在多种分割任务中表现优异，尤其是在未见任务上展现零-shot能力。

关键设计：在网络结构上，PSALM采用了多模态输入处理和掩码生成的联合损失函数，确保模型在生成分割掩码时的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PSALM在RefCOCO、COCO Panoptic Segmentation等多个基准测试中表现出色，取得了显著的性能提升，尤其在开放词汇分割和视频对象分割任务上展现了零-shot能力，标志着计算机视觉领域的重要进展。

🎯 应用场景

PSALM的研究成果在图像分割领域具有广泛的应用潜力，包括自动驾驶、医学影像分析和视频监控等场景。其强大的多模态处理能力和零-shot学习能力将推动相关领域的技术进步，提升智能系统的视觉理解能力。

📄 摘要（原文）

PSALM is a powerful extension of the Large Multi-modal Model (LMM) to address the segmentation task challenges. To overcome the limitation of the LMM being limited to textual output, PSALM incorporates a mask decoder and a well-designed input schema to handle a variety of segmentation tasks. This schema includes images, task instructions, conditional prompts, and mask tokens, which enable the model to generate and classify segmentation masks effectively. The flexible design of PSALM supports joint training across multiple datasets and tasks, leading to improved performance and task generalization. PSALM achieves superior results on several benchmarks, such as RefCOCO/RefCOCO+/RefCOCOg, COCO Panoptic Segmentation, and COCO-Interactive, and further exhibits zero-shot capabilities on unseen tasks, such as open-vocabulary segmentation, generalized referring expression segmentation and video object segmentation, making a significant step towards a GPT moment in computer vision. Through extensive experiments, PSALM demonstrates its potential to transform the domain of image segmentation, leveraging the robust visual understanding capabilities of LMMs as seen in natural language processing. Code and models are available at https://github.com/zamling/PSALM.