Understanding Knowledge Transfer Mechanism in Heterogeneous MLLM Fusion: A Simple Linear Approach

📄 arXiv: 2607.26608v1 📥 PDF

作者: Yinghao Hou, Jiahe Fan, Yuanhao Pu, Zongyuan Chen, Hong Xie

分类: cs.CV

发布日期: 2026-07-29

备注: 17 pages, 6 figures; includes supplementary material

💡 一句话要点

提出CDPI方法以解析异构多模态大语言模型融合中的知识转移机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 知识转移 大语言模型 推理能力 跨尺度学习 线性探测 选择性转移

📋 核心要点

  1. 现有的异构多模态大语言模型融合方法在评估能力转移时缺乏全面性，未能揭示不同规模模型间的知识转移机制。
  2. 本文提出跨尺度方向参数注入（CDPI）方法，通过线性探测分析异构模型融合中的知识转移，揭示选择性转移的本质。
  3. 实验结果表明，在四对Qwen3-VL模型和十二个多模态基准上，高层推理能力显著提升，而感知性能保持稳定，验证了选择性转移的存在。

📝 摘要（中文）

训练无关的异构多模态大语言模型（MLLMs）融合为跨尺度能力转移提供了直接途径，但现有研究未能揭示小模型实际继承了什么能力。为此，本文引入了跨尺度方向参数注入（CDPI）方法，分析异构融合过程中的知识转移。理论分析表明，知识转移的选择性主要由对共享注入方向的能力依赖响应决定，而二阶曲率效应则限制了有效转移的范围。实验结果显示，推理能力的提升主要集中在高层推理上，而感知性能接近原始目标模型。进一步的消融实验表明，高层推理的提升主要源于语言模型，正向选择性转移主要发生在小比例范围内。

🔬 方法详解

问题定义：本文旨在解决异构多模态大语言模型融合中知识转移机制不明确的问题。现有方法在不同任务集上的评估不足，无法全面理解能力转移的实际情况。

核心思路：提出跨尺度方向参数注入（CDPI）方法，通过线性探测分析不同规模模型间的知识转移，重点关注能力依赖的响应和选择性转移现象。

技术框架：CDPI方法的整体架构包括理论分析和实验验证两个主要阶段。理论分析部分探讨知识转移的选择性，实验部分则通过多模态基准测试验证理论结果。

关键创新：最重要的创新在于将知识转移视为选择性语言侧推理转移，而非广泛的能力继承。这一视角的转变为理解异构模型融合提供了新的思路。

关键设计：在实验中，采用了四对Qwen3-VL模型，设计了多种消融实验以分析不同组件对推理能力的贡献，特别关注小比例范围内的正向选择性转移。实验中使用的损失函数和参数设置经过精心设计，以确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在四对Qwen3-VL模型的测试中，高层推理能力显著提升，尤其是在小比例范围内，正向选择性转移的现象得到了验证。这一发现为异构模型融合提供了新的理解，推动了多模态学习的研究进展。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态学习等。通过优化异构模型间的知识转移，可以提升模型在复杂任务中的表现，推动智能系统的进一步发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Training-free fusion of heterogeneous multimodal large language models (MLLMs) provides a direct route for cross-scale capability transfer, yet improvements in aggregate performance do not reveal what a smaller model actually inherits. Existing studies are largely designed and evaluated on limited task sets or aggregate metrics; as evaluation expands to broader task collections, whether different capabilities can transfer across scales remains poorly understood. To investigate this question, we introduce Cross-Scale Directional Parameter Injection (CDPI), a simple linear probe to analyze cross-scale knowledge transfer during heterogeneous fusion. A local theoretical analysis indicates that knowledge transfer selectivity is determined at first order by capability-dependent responses to a shared injection direction, while second-order curvature effects constrain the effective transfer regime. Across four Qwen3-VL model pairs and twelve multimodal benchmarks, our experiments reveal a consistent pattern of selectivity: gains concentrate on reasoning, particularly high-level reasoning, whereas perception performance remains close to that of the original target model. Component-wise ablations further show that high-level reasoning gains arise primarily from the language model, while ratio analysis finds that positive selective transfer occurs mainly in the small-ratio regime. These findings recast cross-scale heterogeneous MLLM fusion as selective language-side reasoning transfer within a narrow, low-interference regime, rather than broad capability inheritance.