Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception
作者: Junwen He, Yifan Wang, Lijun Wang, Huchuan Lu, Jun-Yan He, Jin-Peng Lan, Bin Luo, Xuansong Xie
分类: cs.CV
发布日期: 2024-03-05 (更新: 2024-03-25)
备注: CVPR 2024
💡 一句话要点
提出AnyRef以解决多模态细粒度视觉感知问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 视觉感知 像素级监督 重聚焦机制 自然语言描述 智能助手 人机交互
📋 核心要点
- 现有的多模态大型语言模型在细粒度像素级感知和超越文本输入的交互方面存在明显不足。
- 本文提出的AnyRef模型通过重聚焦机制，能够从多模态参考生成像素级对象感知和自然语言描述，增强用户交互灵活性。
- 在多个基准测试中，AnyRef模型在引用分割和表达生成任务上实现了最先进的性能，展现了显著的提升。
📝 摘要（中文）
多模态大型语言模型（MLLMs）利用大型语言模型作为多样化视觉语言任务的认知框架。尽管已有研究为MLLMs赋予了视觉感知和定位能力，但在提供细粒度像素级感知和扩展交互方面仍存在不足。本文提出了AnyRef，一个通用的MLLM模型，能够从文本、框、图像或音频等多模态参考中生成像素级对象感知和自然语言描述。通过提出的重聚焦机制，生成的定位输出能够更好地聚焦于参考对象，隐式地结合了额外的像素级监督。我们的模型在多个基准测试中实现了最先进的结果，包括多样化的模态引用分割和区域级引用表达生成。
🔬 方法详解
问题定义：本文旨在解决现有多模态大型语言模型在细粒度视觉感知和超越文本输入交互方面的不足，尤其是在像素级感知的缺失和交互灵活性不足的问题。
核心思路：提出AnyRef模型，通过重聚焦机制引导生成的定位输出更好地聚焦于参考对象，利用注意力分数来增强模型的感知能力，避免了额外计算的需求。
技术框架：AnyRef模型的整体架构包括输入多模态参考（文本、框、图像、音频）、重聚焦机制、生成像素级感知和自然语言描述等主要模块。模型通过注意力机制在推理过程中进行优化。
关键创新：最重要的创新在于重聚焦机制的引入，使得模型能够在生成过程中更好地聚焦于目标对象，结合了像素级监督，显著提升了感知精度。
关键设计：模型设计中采用了公开可用的训练数据，损失函数通过结合像素级监督和注意力机制进行优化，网络结构则基于现有的LLM架构进行改进，以适应多模态输入的需求。
🖼️ 关键图片
📊 实验亮点
AnyRef模型在多个基准测试中表现优异，尤其是在多模态引用分割和区域级引用表达生成任务上，达到了最先进的性能，显著提升了感知精度和生成质量，展示了相较于现有方法的明显优势。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、增强现实等，能够为用户提供更为自然和灵活的交互体验。通过细粒度的视觉感知，AnyRef模型可在多种场景中实现更高效的信息提取和理解，未来可能对人机交互和智能系统的设计产生深远影响。
📄 摘要（原文）
Multimodal Large Language Model (MLLMs) leverages Large Language Models as a cognitive framework for diverse visual-language tasks. Recent efforts have been made to equip MLLMs with visual perceiving and grounding capabilities. However, there still remains a gap in providing fine-grained pixel-level perceptions and extending interactions beyond text-specific inputs. In this work, we propose {\bf{AnyRef}}, a general MLLM model that can generate pixel-wise object perceptions and natural language descriptions from multi-modality references, such as texts, boxes, images, or audio. This innovation empowers users with greater flexibility to engage with the model beyond textual and regional prompts, without modality-specific designs. Through our proposed refocusing mechanism, the generated grounding output is guided to better focus on the referenced object, implicitly incorporating additional pixel-level supervision. This simple modification utilizes attention scores generated during the inference of LLM, eliminating the need for extra computations while exhibiting performance enhancements in both grounding masks and referring expressions. With only publicly available training data, our model achieves state-of-the-art results across multiple benchmarks, including diverse modality referring segmentation and region-level referring expression generation.