MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

📄 arXiv: 2607.25948v1 📥 PDF

作者: Mingqiao Ye, Zhaochong An, Zhitong Gao, Xian Liu, François Fleuret, Chuan Li, Amir Zadeh, Serge Belongie, Afshin Dehghan, Jesse Allardice, David Mizrahi, Oğuzhan Fatih Kar, Roman Bachmann, Amir Zamir

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-07-28

备注: Accepted at ICML 2026. Project page: https://modus-multimodal.epfl.ch

💡 一句话要点

提出MODUS以解决多模态建模的局限性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态建模 解码器模型 跨模态生成 科学计算 深度学习

📋 核心要点

  1. 现有的任何到任何模型通常从头训练，限制了性能并无法利用强大的预训练解码器模型。
  2. 本研究提出MODUS模型，采用解码器仅的架构，支持任意模态的输入和输出，避免了模态特定的设计。
  3. MODUS在多个基准测试中表现出色，能够与专业模型和多任务基线相竞争，展示了其强大的通用性和灵活性。

📝 摘要（中文）

任何到任何模型可以在单一网络中从任意组合的模态预测任意模态，这一方法在多模态视觉和视觉-语言模型中得到应用，并逐渐扩展到生态学和天文学等科学领域。现有的任何到任何模型通常从头开始训练，使用编码器-解码器或扩散架构，这影响了其性能，并阻止了利用强大的预训练解码器模型作为先验。在本研究中，我们探讨了解码器仅的任何到任何多模态建模，所有模态对称处理，支持任意模态作为输入和输出，无需特定模态的头、损失或任务管道。MODUS模型展示了强大的即用性能，并在多个基准测试中与专业和多任务基线模型竞争。

🔬 方法详解

问题定义：本研究旨在解决现有任何到任何模型在训练过程中无法利用预训练解码器的局限性，导致性能不足的问题。

核心思路：MODUS模型采用解码器仅的架构，所有模态对称处理，允许任意模态作为输入和输出，从而简化了模型设计并提升了灵活性。

技术框架：MODUS的整体架构包括一个解码器网络，能够处理多种模态的输入和输出，模型不依赖于特定模态的头或损失函数，支持多种任务的灵活应用。

关键创新：MODUS的主要创新在于其解码器仅的设计，使得所有模态在同一模型中对称处理，区别于传统的编码器-解码器架构，提升了多模态建模的效率和性能。

关键设计：模型的损失函数设计为通用型，能够适应不同模态的输出，网络结构采用了深度学习中的标准解码器架构，确保了高效的训练和推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，MODUS模型展现出强大的性能，能够与专业模型和多任务基线相竞争，具体性能数据表明其在多项任务上均有显著提升，展示了其作为通用多模态模型的潜力。

🎯 应用场景

MODUS模型具有广泛的应用潜力，能够在多模态生成、跨模态验证等领域发挥作用。其灵活的设计使其适用于生态学、天文学等科学研究中的数据分析和模型构建，未来可能推动多模态技术的进一步发展。

📄 摘要（原文）

Any-to-any models predict any modality from any combination of others within a single network, a formulation used in multimodal vision and vision-language models, and increasingly in scientific domains such as ecology and astronomy. Existing any-to-any models are typically trained from scratch using encoder-decoder or diffusion architectures, impacting their performance and preventing them from using strong pre-trained decoder-only models as a prior. In this work, we investigate decoder-only any-to-any multimodal modeling, which treats all modalities symmetrically and supports arbitrary modalities as inputs and outputs without modality-specific heads, losses, or task pipelines. Because every modality is both an input and an output of the same model, the resulting model, named Modus, can support a range of applications, such as chained generation through intermediate modalities or cross-modal self-verification by scoring the model's own outputs with another generated modality. Modus demonstrates strong out-of-the-box performance and is competitive with specialist and multitask baselines using a single model across various benchmarks. All materials are open-sourced at https://modus-multimodal.epfl.ch/.