Griffon v2: Advancing Multimodal Perception with High-Resolution Scaling and Visual-Language Co-Referring

📄 arXiv: 2403.09333v2 📥 PDF

作者: Yufei Zhan, Shurong Zheng, Yousong Zhu, Hongyin Zhao, Fan Yang, Ming Tang, Jinqiao Wang

分类: cs.CV, cs.AI

发布日期: 2024-03-14 (更新: 2025-08-11)

备注: Accepted by ICCV 2025. Codes and datasets are released at https://github.com/jefferyZhan/Griffon

🔗 代码/项目: GITHUB

💡 一句话要点

提出Griffon v2以解决多模态感知中的高分辨率限制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态感知 高分辨率模型 视觉语言模型 物体检测 图像处理

📋 核心要点

  1. 现有大型视觉语言模型在复杂场景中受限于图像分辨率，难以超越任务专家的表现。
  2. Griffon v2通过设计轻量级下采样投影器，提升图像分辨率并增强多模态感知能力，支持灵活的物体指代。
  3. 实验结果显示，Griffon v2在物体检测、计数和短语定位等任务上表现优异，超越了现有专家模型。

📝 摘要（中文）

大型视觉语言模型在细粒度物体感知方面取得了显著进展，但图像分辨率的限制仍然是超越特定任务专家性能的重大障碍。为了解决这一问题，本文提出了统一的高分辨率通用模型Griffon v2，支持灵活的视觉和文本提示进行物体指代。通过设计轻量级下采样投影器，克服了大型语言模型中的输入标记限制，从而显著提升了多模态感知能力，尤其是在小物体的识别上。实验表明，Griffon v2在物体检测、计数和短语定位等任务上超越了专家模型，达到了最先进的性能。

🔬 方法详解

问题定义：本论文旨在解决大型视觉语言模型在复杂和密集场景中由于图像分辨率限制而导致的物体感知能力不足的问题。现有方法在细节捕捉和小物体识别上表现不佳，难以满足实际应用需求。

核心思路：论文提出的Griffon v2模型通过设计一个轻量级的下采样投影器，能够在保持上下文完整性的同时有效提升输入图像的分辨率，从而增强模型的多模态感知能力。

技术框架：Griffon v2的整体架构包括下采样投影器和视觉-语言共同指代模块。下采样投影器负责处理输入图像并提升其分辨率，而视觉-语言共同指代模块则支持用户与目标图像和文本的交互。

关键创新：Griffon v2的主要创新在于其轻量级下采样投影器设计，能够在不损失细节的情况下有效扩展输入图像的分辨率。这一设计与现有方法相比，显著提升了小物体的识别能力。

关键设计：模型采用了特定的损失函数以优化多模态输入的融合效果，并在网络结构上进行了调整，以支持灵活的视觉和文本提示交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Griffon v2在物体检测和计数任务中超越了现有专家模型，特别是在REC和短语定位任务上达到了最先进的性能，显示出显著的提升幅度，具体性能数据未明确提供。

🎯 应用场景

Griffon v2在图形用户界面（GUI）代理、物体计数等领域具有广泛的应用潜力。其高分辨率的多模态感知能力能够提升智能系统在复杂环境中的表现，未来可用于增强现实、自动驾驶等前沿技术领域。

📄 摘要（原文）

Large Vision Language Models have achieved fine-grained object perception, but the limitation of image resolution remains a significant obstacle to surpassing the performance of task-specific experts in complex and dense scenarios. Such limitation further restricts the model's potential to achieve nuanced visual and language referring in domains such as GUI Agents, counting, \textit{etc}. To address this issue, we introduce a unified high-resolution generalist model, Griffon v2, enabling flexible object referring with visual and textual prompts. To efficiently scale up image resolution, we design a simple and lightweight down-sampling projector to overcome the input tokens constraint in Large Language Models. This design inherently preserves the complete contexts and fine details and significantly improves multimodal perception ability, especially for small objects. Building upon this, we further equip the model with visual-language co-referring capabilities through a plug-and-play visual tokenizer. It enables user-friendly interaction with flexible target images, free-form texts, and even coordinates. Experiments demonstrate that Griffon v2 can localize objects of interest with visual and textual referring, achieve state-of-the-art performance on REC and phrase grounding, and outperform expert models in object detection, object counting, and REG. Data and codes are released at https://github.com/jefferyZhan/Griffon.