NExT-Chat: An LMM for Chat, Detection and Segmentation
作者: Ao Zhang, Yuan Yao, Wei Ji, Zhiyuan Liu, Tat-Seng Chua
分类: cs.CV, cs.AI, cs.CL
发布日期: 2023-11-08 (更新: 2023-12-18)
备注: Technical Report (https://next-chatv.github.io/)
🔗 代码/项目: GITHUB
💡 一句话要点
提出pix2emb方法以提升多模态理解能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态理解 大型语言模型 视觉定位 区域描述 嵌入方法 深度学习 智能助手
📋 核心要点
- 现有方法在多模态理解中对物体位置建模存在不足，难以有效处理不同位置格式。
- 本文提出pix2emb方法，通过输出位置嵌入并使用不同解码器，增强LMM的区域理解能力。
- 实验结果显示，NExT-Chat在多个任务上超越了现有基线，表现出更高的准确性和鲁棒性。
📝 摘要（中文）
大型语言模型（LLMs）的发展极大推动了多模态理解领域的进步，促使大型多模态模型（LMMs）的出现。为了增强视觉理解能力，近期研究通过将物体边界框坐标表示为一系列文本序列（pix2seq）来赋予LMM区域级理解能力。本文提出了一种新的物体位置建模范式——pix2emb方法，要求LMM输出位置嵌入，并通过不同解码器进行解码。这一范式使我们能够在多模态对话中使用不同的位置格式（如边界框和掩膜）。基于pix2emb方法，我们训练了名为NExT-Chat的LMM，并展示其在视觉定位、区域描述和基于上下文推理等多项任务中的能力。综合实验表明，NExT-Chat在多个任务上表现优异。
🔬 方法详解
问题定义：本文旨在解决现有多模态模型在物体位置建模方面的不足，尤其是在处理不同位置格式时的局限性。现有方法主要依赖于文本序列表示，难以有效捕捉空间信息。
核心思路：提出pix2emb方法，通过让LMM输出位置嵌入，允许模型在多模态对话中灵活使用不同的位置信息格式。这种设计旨在提升模型的视觉理解能力和适应性。
技术框架：NExT-Chat的整体架构包括输入处理、位置嵌入生成和多种解码器模块。输入处理模块将图像和文本信息进行融合，位置嵌入生成模块负责输出位置嵌入，而解码器模块则根据需要生成边界框或掩膜等不同格式的位置信息。
关键创新：最重要的创新在于pix2emb方法的提出，它与现有的pix2seq方法本质上不同，后者仅依赖文本序列表示，而pix2emb则通过嵌入方式增强了空间信息的表达能力。
关键设计：在模型设计中，采用了多种损失函数以优化不同任务的性能，同时在网络结构上引入了多解码器机制，以支持多样化的输出格式。
🖼️ 关键图片
📊 实验亮点
实验结果显示，NExT-Chat在POPE-Random任务上取得了87.7的准确率，超越了Shikra的86.9；在指代表达分割任务上，NExT-Chat的表现为68.9，优于LISA的67.9；在区域描述任务中，NExT-Chat达到79.6，显著高于Kosmos-2的62.3，展示了其在多项任务中的优越性能。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、增强现实等场景，能够提升机器对复杂视觉信息的理解能力，进而改善人机交互体验。未来，NExT-Chat有望在多模态任务中发挥更大作用，推动相关技术的进步。
📄 摘要（原文）
The development of large language models (LLMs) has greatly advanced the field of multimodal understanding, leading to the emergence of large multimodal models (LMMs). In order to enhance the level of visual comprehension, recent studies have equipped LMMs with region-level understanding capabilities by representing object bounding box coordinates as a series of text sequences (pix2seq). In this paper, we introduce a novel paradigm for object location modeling called pix2emb method, where we ask the LMM to output the location embeddings and then decode them with different decoders. This paradigm allows us to use different location formats (such as bounding boxes and masks) in multimodal conversations. Leveraging the proposed pix2emb method, we train an LMM named NExT-Chat and demonstrate its capability of handling multiple tasks like visual grounding, region captioning, and grounded reasoning. Comprehensive experiments show the effectiveness of our NExT-Chat on various tasks, e.g., NExT-Chat (87.7) vs. Shikra (86.9) on POPE-Random, NExT-Chat (68.9) vs. LISA (67.9) on referring expression segmentation task, and NExT-Chat (79.6) vs. Kosmos-2 (62.3) on region caption task. The code and model are released at https://github.com/NExT-ChatV/NExT-Chat.