Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action

📄 arXiv: 2312.17172v1 📥 PDF

作者: Jiasen Lu, Christopher Clark, Sangho Lee, Zichen Zhang, Savya Khosla, Ryan Marten, Derek Hoiem, Aniruddha Kembhavi

分类: cs.CV, cs.AI, cs.CL

发布日期: 2023-12-28

备注: 38 pages, 20 figures

💡 一句话要点

Unified-IO 2：首个支持图像、文本、音频和动作的自回归多模态模型，实现通用理解与生成。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 自回归模型 Transformer 统一表示 图像文本音频动作 机器人操作 通用人工智能

📋 核心要点

  1. 现有模型难以统一处理图像、文本、音频和动作等多种模态，限制了其通用性和泛化能力。
  2. Unified-IO 2通过将所有模态数据token化到共享语义空间，并使用统一的Transformer模型进行处理，实现了多模态的统一。
  3. 该模型在GRIT基准测试中取得了SOTA性能，并在35+基准测试中表现出色，涵盖图像、文本、音频、视频和机器人操作等领域。

📝 摘要（中文）

本文提出了Unified-IO 2，这是首个能够理解和生成图像、文本、音频和动作的自回归多模态模型。为了统一不同的模态，我们将输入和输出（包括图像、文本、音频、动作、边界框等）标记化到一个共享的语义空间中，然后使用单个编码器-解码器Transformer模型处理它们。由于使用如此多样化的模态进行训练具有挑战性，我们提出了一系列架构改进来稳定模型训练。我们使用来自不同来源的大型多模态预训练语料库，通过多模态混合去噪器目标从头开始训练我们的模型。为了学习广泛的技能，例如遵循多模态指令，我们构建并微调了一个包含120个数据集的集合，并使用了提示和增强。凭借单个统一模型，Unified-IO 2在GRIT基准测试中实现了最先进的性能，并在包括图像生成和理解、自然语言理解、视频和音频理解以及机器人操作等35多个基准测试中取得了优异的成果。我们将向研究社区发布我们所有的模型。

🔬 方法详解

问题定义：现有方法在处理多模态数据时，通常需要针对不同模态设计不同的模型结构，导致模型复杂且难以扩展。此外，不同模态之间缺乏有效的交互和信息共享，限制了模型对复杂任务的理解和生成能力。

核心思路：Unified-IO 2的核心思路是将所有模态的数据（图像、文本、音频、动作等）统一表示为token序列，并使用单个自回归Transformer模型进行处理。通过这种方式，模型可以学习不同模态之间的关联，并实现跨模态的理解和生成。

技术框架：Unified-IO 2采用编码器-解码器Transformer架构。编码器将各种模态的输入token序列编码为统一的语义表示，解码器则根据该表示生成目标模态的输出token序列。为了处理不同模态的数据，模型使用了不同的tokenization方法，例如，图像被分割成patch并转换为视觉token，音频则通过音频编码器转换为音频token。

关键创新：Unified-IO 2的关键创新在于其统一的多模态表示和处理方式。通过将所有模态的数据token化到共享的语义空间中，模型可以学习不同模态之间的关联，并实现跨模态的理解和生成。此外，模型还采用了多种架构改进来稳定训练，并使用多模态混合去噪器目标进行预训练。

关键设计：模型使用了多种tokenization方法来处理不同模态的数据。为了稳定训练，模型采用了梯度裁剪、学习率预热等技术。损失函数采用了多模态混合去噪器目标，鼓励模型从噪声数据中恢复原始数据。模型在大量多模态数据上进行了预训练，并在120个数据集上进行了微调。

📊 实验亮点

Unified-IO 2在GRIT基准测试中取得了最先进的性能，并在超过35个基准测试中表现出色，涵盖图像生成与理解、自然语言理解、视频和音频理解以及机器人操作等领域。这些结果表明，该模型具有强大的多模态理解和生成能力，以及良好的泛化性能。

🎯 应用场景

Unified-IO 2具有广泛的应用前景，包括多模态对话系统、智能助手、机器人控制、内容创作等。例如，它可以用于构建能够理解图像、文本和语音指令的智能助手，或者用于控制机器人执行复杂的任务。该研究的突破为通用人工智能的发展奠定了基础。

📄 摘要（原文）

We present Unified-IO 2, the first autoregressive multimodal model that is capable of understanding and generating image, text, audio, and action. To unify different modalities, we tokenize inputs and outputs -- images, text, audio, action, bounding boxes, etc., into a shared semantic space and then process them with a single encoder-decoder transformer model. Since training with such diverse modalities is challenging, we propose various architectural improvements to stabilize model training. We train our model from scratch on a large multimodal pre-training corpus from diverse sources with a multimodal mixture of denoisers objective. To learn an expansive set of skills, such as following multimodal instructions, we construct and finetune on an ensemble of 120 datasets with prompts and augmentations. With a single unified model, Unified-IO 2 achieves state-of-the-art performance on the GRIT benchmark and strong results in more than 35 benchmarks, including image generation and understanding, natural language understanding, video and audio understanding, and robotic manipulation. We release all our models to the research community.