Phi-4-reasoning-vision-15B Technical Report
作者: Jyoti Aneja, Michael Harrison, Neel Joshi, Tyler LaBonte, John Langford, Eduardo Salinas
分类: cs.AI, cs.CV
发布日期: 2026-03-04
💡 一句话要点
提出Phi-4-reasoning-vision-15B，一种紧凑型开源多模态推理模型，擅长视觉语言任务及科学数学推理。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视觉语言模型 数据管理 模型压缩 科学推理 用户界面理解 开源模型
📋 核心要点
- 现有大型多模态模型计算成本高昂，小型模型性能不足，难以兼顾效率与效果。
- 通过精细的架构设计和严格的数据管理，构建紧凑高效的多模态推理模型Phi-4-reasoning-vision-15B。
- 实验表明，该模型在视觉语言任务、科学数学推理和用户界面理解方面表现出色，且计算成本更低。
📝 摘要（中文）
本文介绍了Phi-4-reasoning-vision-15B，一个紧凑的开源多模态推理模型，并分享了其开发过程中的动机、设计选择、实验和经验。我们的目标是为研究社区提供关于构建更小、更高效的多模态推理模型的实践见解，并将这些经验成果以开源模型的形式分享，该模型擅长常见的视觉和语言任务，并在科学和数学推理以及理解用户界面方面表现出色。我们的贡献包括证明了通过仔细的架构选择和严格的数据管理，更小的开源多模态模型能够以显著更少的训练和推理计算资源及tokens，实现与大型模型相媲美的性能。最显著的改进来自于系统性的过滤、错误纠正和合成数据增强——这进一步强调了数据质量仍然是模型性能的主要驱动因素。系统性的消融实验表明，高分辨率、动态分辨率编码器能够带来持续的改进，因为准确的感知是高质量推理的先决条件。最后，推理和非推理数据的混合，以及显式的模态tokens，使得单个模型能够为简单的任务提供快速直接的答案，并为复杂的问题提供思维链推理。
🔬 方法详解
问题定义：现有的大型多模态模型虽然性能强大，但计算资源消耗巨大，训练和推理成本高昂，难以在资源受限的环境中部署。小型模型虽然计算效率高，但在复杂推理任务上的性能往往不足。因此，如何构建一个既能保持较高性能，又能降低计算成本的多模态推理模型是一个重要的研究问题。
核心思路：论文的核心思路是通过精心设计模型架构和严格管理训练数据来提高模型的效率和性能。具体来说，论文强调了数据质量的重要性，通过系统性的数据过滤、错误纠正和合成数据增强来提升模型的泛化能力。此外，论文还探索了高分辨率和动态分辨率编码器对模型性能的影响，并提出了混合推理和非推理数据训练的方法，以提高模型在不同类型任务上的表现。
技术框架：Phi-4-reasoning-vision-15B的整体架构包含视觉编码器和语言模型两部分。视觉编码器负责将图像信息转换为向量表示，语言模型则负责处理文本信息并进行推理。模型采用混合训练策略，同时使用推理和非推理数据进行训练，并通过显式的模态tokens来区分不同类型的数据。
关键创新：论文的关键创新在于强调了数据质量对模型性能的重要性，并通过系统性的数据管理方法来提升模型的泛化能力。此外，论文还探索了高分辨率和动态分辨率编码器对模型性能的影响，并提出了混合推理和非推理数据训练的方法，以提高模型在不同类型任务上的表现。
关键设计：在数据管理方面，论文采用了系统性的过滤、错误纠正和合成数据增强方法。在模型架构方面，论文探索了高分辨率和动态分辨率编码器的设计。在训练策略方面，论文采用了混合推理和非推理数据训练的方法，并通过显式的模态tokens来区分不同类型的数据。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
论文通过实验证明，精心设计的模型架构和严格的数据管理能够显著提高小型多模态模型的性能。例如，通过系统性的数据过滤、错误纠正和合成数据增强，模型在视觉语言任务和科学数学推理方面的性能得到了显著提升。具体性能数据和对比基线在论文中未详细说明，属于未知信息。
🎯 应用场景
该研究成果可应用于智能客服、教育辅导、科学研究等领域。例如，在智能客服中，模型可以理解用户提出的复杂问题，并给出准确的答案。在教育辅导中，模型可以辅助学生进行科学和数学推理。在科学研究中，模型可以帮助研究人员分析实验数据，并提出新的假设。未来，该模型有望在更多领域发挥重要作用。
📄 摘要（原文）
We present Phi-4-reasoning-vision-15B, a compact open-weight multimodal reasoning model, and share the motivations, design choices, experiments, and learnings that informed its development. Our goal is to contribute practical insight to the research community on building smaller, efficient multimodal reasoning models and to share the result of these learnings as an open-weight model that is good at common vision and language tasks and excels at scientific and mathematical reasoning and understanding user interfaces. Our contributions include demonstrating that careful architecture choices and rigorous data curation enable smaller, open-weight multimodal models to achieve competitive performance with significantly less training and inference-time compute and tokens. The most substantial improvements come from systematic filtering, error correction, and synthetic augmentation -- reinforcing that data quality remains the primary lever for model performance. Systematic ablations show that high-resolution, dynamic-resolution encoders yield consistent improvements, as accurate perception is a prerequisite for high-quality reasoning. Finally, a hybrid mix of reasoning and non-reasoning data with explicit mode tokens allows a single model to deliver fast direct answers for simpler tasks and chain-of-thought reasoning for complex problems.