Reka Core, Flash, and Edge: A Series of Powerful Multimodal Language Models

📄 arXiv: 2404.12387v1 📥 PDF

作者: Reka Team, Aitor Ormazabal, Che Zheng, Cyprien de Masson d'Autume, Dani Yogatama, Deyu Fu, Donovan Ong, Eric Chen, Eugenie Lamprecht, Hai Pham, Isaac Ong, Kaloyan Aleksiev, Lei Li, Matthew Henderson, Max Bain, Mikel Artetxe, Nishant Relan, Piotr Padlewski, Qi Liu, Ren Chen, Samuel Phua, Yazheng Yang, Yi Tay, Yuqi Wang, Zhongkai Zhu, Zhihui Xie

分类: cs.CL, cs.CV

发布日期: 2024-04-18

💡 一句话要点

提出Reka系列多模态语言模型以提升多种输入处理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 语言处理 图像问答 视频理解 人工智能

📋 核心要点

  1. 现有多模态模型在处理不同类型输入时存在性能瓶颈，尤其是在推理能力和计算效率方面。
  2. Reka系列模型通过从零开始训练，采用创新的架构设计，能够有效处理文本、图像、视频和音频输入。
  3. 实验结果表明，Reka Core在多个基准测试中表现优异，超越了许多现有的前沿模型，尤其在多模态聊天和问答任务中。

📝 摘要（中文）

我们介绍了Reka Core、Flash和Edge，这是一系列由Reka从零开始训练的强大多模态语言模型。Reka模型能够处理和推理文本、图像、视频和音频输入。本文讨论了这些模型的训练细节，并提供了全面的评估结果。我们展示了Reka Edge和Reka Flash不仅是最先进的模型，还超越了许多更大规模的模型，展现出超出其计算类别的价值。同时，我们最强大和最大的模型Reka Core在自动评估和盲人类评估中接近最佳前沿模型。在图像问答基准（如MMMU、VQAv2）上，Core的表现与GPT4-V相当。在多模态聊天中，Core在盲人第三方人类评估中排名第二，超越了Claude 3 Opus等其他模型。在文本基准上，Core在一系列成熟基准（如MMLU、GSM8K）上表现出色，并在人工评估中超越了GPT4-0613。在视频问答（Perception-Test）中，Core超越了Gemini Ultra。模型已在http://chat.reka.ai上线，非挑选的定性示例可在http://showcase.reka.ai找到。

🔬 方法详解

问题定义：本论文旨在解决现有多模态模型在处理不同输入类型时的性能不足，尤其是在推理和计算效率方面的挑战。

核心思路：论文提出的核心思路是从零开始训练一系列多模态语言模型，设计上注重模型的通用性和高效性，以便能够处理多种输入类型。

技术框架：整体架构包括多个模块，首先是输入处理模块，接着是特征提取模块，最后是推理和生成模块。每个模块都经过精心设计，以确保信息的有效传递和处理。

关键创新：最重要的技术创新在于模型的多模态融合能力和高效的训练策略，使得模型在较小的计算资源下仍能达到优异的性能。这与现有方法的本质区别在于其训练方式和架构设计的灵活性。

关键设计：在参数设置上，模型采用了动态调整的学习率和多任务学习策略，损失函数设计上结合了多模态特征的权重调整，网络结构上则使用了自注意力机制以增强特征的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Reka Core在图像问答基准上与GPT4-V表现相当，在多模态聊天中排名第二，超越Claude 3 Opus。在文本基准上，Core在MMLU和GSM8K等测试中表现优异，并在人工评估中超越GPT4-0613，显示出显著的性能提升。

🎯 应用场景

Reka系列模型的潜在应用场景包括智能客服、教育辅导、内容生成和多媒体检索等领域。这些模型能够处理多种输入形式，提升用户交互体验，具有广泛的实际价值和未来影响力。

📄 摘要（原文）

We introduce Reka Core, Flash, and Edge, a series of powerful multimodal language models trained from scratch by Reka. Reka models are able to process and reason with text, images, video, and audio inputs. This technical report discusses details of training some of these models and provides comprehensive evaluation results. We show that Reka Edge and Reka Flash are not only state-of-the-art but also outperform many much larger models, delivering outsized values for their respective compute class. Meanwhile, our most capable and largest model, Reka Core, approaches the best frontier models on both automatic evaluations and blind human evaluations. On image question answering benchmarks (e.g. MMMU, VQAv2), Core performs competitively to GPT4-V. Meanwhile, on multimodal chat, Core ranks as the second most preferred model under a blind third-party human evaluation setup, outperforming other models such as Claude 3 Opus. On text benchmarks, Core not only performs competitively to other frontier models on a set of well-established benchmarks (e.g. MMLU, GSM8K) but also outperforms GPT4-0613 on human evaluation. On video question answering (Perception-Test), Core outperforms Gemini Ultra. Models are shipped in production at http://chat.reka.ai . A showcase of non cherry picked qualitative examples can also be found at http://showcase.reka.ai .