Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes
作者: Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, Filippos Kokkinos, Mike Lewis
分类: cs.CV, cs.LG, cs.MM
发布日期: 2026-08-05
备注: Project page: https://junlinhan.github.io/projects/physics_of_mm_pretrain/
💡 一句话要点
提出多模态预训练物理学以解决知识流动与协同问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态预训练 知识流动 模态协同 早期统一 高效预训练 计算预算 生成性能
📋 核心要点
- 现有方法在多模态统一训练中对模态间相互作用的机制探索不足，导致知识流动和协同效应未被充分理解。
- 论文通过系统性实验揭示了知识流动、模态协同与竞争、早期统一等关键因素，提出了高效的预训练配方。
- 实验表明，早期统一训练比后期对齐或顺序训练更有效，且仅用5%的计算预算即可实现强生成性能。
📝 摘要（中文）
视觉为基础模型的进步提供了关键轴心，推动了向原生统一的多模态预训练的转变。尽管这一趋势正在发展，但在统一训练过程中模态如何相互作用的设计空间和基本机制仍未得到充分探索。通过对多模态预训练的系统性探索，我们提供了实证清晰度，揭示了知识流动、协同与竞争、早期统一和高效预训练配方等四个关键见解。这些发现为理解和扩展多模态预训练提供了原则性基础。
🔬 方法详解
问题定义：论文旨在解决多模态统一训练中模态相互作用机制不明确的问题，现有方法未能充分探索知识流动和模态协同的影响。
核心思路：通过系统性实验，论文揭示了知识流动的不同模式及其影响，强调了早期统一训练的重要性，并提出了高效的预训练配方以优化计算资源的使用。
技术框架：整体架构包括知识流动分析、模态协同与竞争评估、早期统一训练策略及高效预训练配方的设计，涵盖了从数据复杂性到模型架构的多方面考量。
关键创新：论文的主要创新在于系统性地揭示了模态间知识流动的非对称性和影响模式，以及早期统一训练的优势，这与传统的后期对齐方法形成鲜明对比。
关键设计：在模型设计中，采用了共享注意力机制和特定模态的前馈层归一化，优化了数据复杂性对模态协同的影响，同时提出的预训练配方在计算预算上极具效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用早期统一训练策略的模型在生成性能上显著优于传统方法，且在仅使用5%的计算预算下，成功训练了多个13.5B MoE模型，验证了提出的高效预训练配方的有效性。
🎯 应用场景
该研究的潜在应用领域包括多模态人工智能系统、智能助手、自动驾驶和机器人等，能够有效提升模型在复杂任务中的表现。通过优化多模态预训练，未来的模型将更具智能化和适应性，推动相关技术的发展。
📄 摘要（原文）
Vision offers a critical axis for advancing foundation models, driving a shift towards natively unified multimodal pretraining. Despite this momentum, the design space and the fundamental mechanisms of how modalities interact during unified training remain underexplored. We provide empirical clarity through a systematic exploration of multimodal pretraining. Our controlled experiments on both synthetic and large-scale real-world datasets yield four key insights into the physics of multimodal pretraining: (i) Knowledge Flow: We disentangle how language, visual understanding, and visual generation transfer knowledge across modalities, revealing distinct patterns of influence and asymmetry; (ii) Synergy vs. Competition: We show that data "complexity" largely determines whether modalities are synergistic, identify architectural choices that promote synergy: such as shared attention and normalization with modality-specific feed-forward layers, and find that these behaviors generalize across different visual tokenizer designs; (iii) Early Unification: Unifying modalities from the very early stages and training them jointly is shown to be more effective than late alignment or sequential training. This process uncovers a vision laziness phenomenon, where delayed integration leads models to rely on language priors; (iv) Recipes: We derive efficient pretraining recipes that achieve strong generative performance using only 5% of the compute budget. These core findings are subsequently validated at scale by training multiple 13.5B MoE models on 2T tokens. We hope this study provides a principled foundation for understanding and scaling multimodal pretraining.