Argus-Unified: Towards A Compact and Economical Unified Model for Image Understanding and Generation

📄 arXiv: 2607.25527v1 📥 PDF

作者: Weiming Zhuang, Jiabo Huang, Jingtao Li, Zhizhong Li, Chen Chen, Sina Sajadmanesh, Lingjuan Lyu

分类: cs.CV, cs.AI

发布日期: 2026-07-28

💡 一句话要点

提出Argus-Unified以解决多模态理解与生成的高成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 视觉理解 图像生成 预训练模型 混合视觉标记 低成本训练 统一模型 人工智能

📋 核心要点

  1. 现有的多模态模型在视觉理解与生成的统一上面临高计算和数据需求的挑战，导致开发成本高昂。
  2. Argus-Unified通过利用预训练的视觉-语言模型，设计了混合视觉标记，解决了理解与生成之间的特征冲突。
  3. 实验结果表明，Argus-Unified在GQA、POPE和VQAv2等任务上实现了最先进的多模态理解，并在生成质量上与专用视觉编码器模型相媲美，成本降低约10倍，数据需求减少约5倍。

📝 摘要（中文）

统一视觉理解与生成在一个模型中具有巨大潜力，但由于计算和数据需求高，以及这两种能力所需视觉特征之间的冲突，仍然面临挑战。为了解决这些问题，我们提出了Argus-Unified，这是一个紧凑、高效的多模态模型，具有较低的计算和数据需求。Argus-Unified有效利用了预训练的视觉-语言模型（VLM），引入了混合视觉标记，保留了用于理解的连续标记，同时从冻结的统一视觉编码器学习用于生成的离散标记。我们的训练流程包括两个阶段：第一阶段在冻结的视觉编码器上学习量化器和图像解码器，第二阶段则训练从预训练VLM初始化的LLM以实现统一的多模态建模。我们展示了在使用最少数据（15.6M）和最低成本（约2000美元）的情况下，统一多模态模型可以经济地训练，同时在理解和生成方面都取得了强劲的性能。

🔬 方法详解

问题定义：本论文旨在解决多模态理解与生成统一模型的高计算和数据需求问题。现有方法通常需要大量数据和计算资源，限制了其应用和开发。

核心思路：论文提出的核心思路是利用预训练的视觉-语言模型（VLM）作为基础，通过引入混合视觉标记来平衡理解与生成的需求，从而降低计算和数据成本。

技术框架：整体架构分为两个主要阶段：第一阶段在冻结的视觉编码器上训练量化器和图像解码器，第二阶段则训练从预训练VLM初始化的语言模型（LLM），实现统一的多模态建模。

关键创新：最重要的技术创新在于引入混合视觉标记，既保留了用于理解的连续标记，又学习了用于生成的离散标记。这一设计有效解决了理解与生成之间的特征冲突。

关键设计：在训练过程中，使用了特定的损失函数来优化量化器和解码器的性能，同时确保LLM能够有效利用视觉信息。模型的参数设置经过精心调整，以实现最佳的训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Argus-Unified在GQA、POPE和VQAv2等基准测试上达到了最先进的多模态理解性能，并在生成质量上与专用视觉编码器模型（如Janus、Janus-Pro）相当。整体成本降低约10倍，数据需求减少约5倍，展现了其经济性与有效性。

🎯 应用场景

Argus-Unified的研究成果在多个领域具有潜在应用价值，包括智能问答系统、图像生成与编辑、以及多模态内容创作等。其经济高效的特性使得中小型企业和研究机构能够更容易地开发和部署多模态应用，推动相关技术的普及与发展。

📄 摘要（原文）

Unifying visual understanding and generation in one model holds immense promise, but remains challenging and expensive due to heavy compute and data demands and conflicts between the visual features needed for these two capabilities. To address these challenges, we present Argus-Unified, a compact, effective and unified multimodal model built with low demand on computation and data. Instead of aligning modalities from scratch, Argus-Unified effectively leverages pretrained vision-language models (VLMs) that provide strong multimodal priors. Specifically, we introduce hybrid visual tokens that preserve continuous tokens for understanding while learning discrete tokens for generation from a frozen unified vision encoder. Our training pipeline includes two stages: the first stage learns a quantizer and image decoder on top of the frozen vision encoder, the second stage trains the LLM initialized from a pretrained VLM for the unified multimodal modeling. Using by far the least amount of data (15.6M) and the lowest cost (~$2,000), we demonstrate that unified multimodal models can be trained economically while achieving strong performance in both understanding and generation. Notably, our model attains state-of-the-art multimodal understanding on GQA, POPE, and VQAv2, and competitive generation quality compared to models with dedicated vision encoders (e.g., Janus, Janus-Pro), all at ~10x lower cost and with ~5x less data. We envision Argus-Unified as a useful baseline that lowers the development barrier for unified models.