When More Foundation Models Means Less: Diagnosing and Addressing Multi-View Fusion Failure
作者: Yibo Liu, Bowen Jiang
分类: cs.CV
发布日期: 2026-08-18
备注: 26 pages, 4 figures. Code and results: https://github.com/yibol9768-alt/Quantifying-Representation-Reliability
💡 一句话要点
提出KAGES以解决多视图融合中的选择问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多视图融合 编码器选择 基础模型 任务对齐 性能提升
📋 核心要点
- 现有的多视图融合方法在选择编码器时面临冗余和任务不对齐的问题，导致性能下降。
- 论文提出KAGES方法，通过边际增益对编码器进行排序，优化视图选择过程，避免冗余视图的影响。
- 实验结果显示，KAGES在多个任务中显著提高了平均AULC，优于传统的全融合方法和其他选择策略。
📝 摘要（中文）
基础模型中心将多视图融合转变为选择问题：在一个大型异构编码器池中，应该融合哪些视图以及多少视图？我们展示了下游性能与融合编码器数量之间的非单调关系；后期视图可能冗余或与任务不对齐，导致准确率饱和或下降。我们将这一设置形式化为视图集组合，并提出KAGES（核对齐贪婪编码器选择器），这是一种标签感知的方法，通过其边际增益对冻结编码器进行排序。KAGES在选择过程中无需下游分类器训练，以$ ext{O}(n^2)$时间评估每个候选者，并在单调性和正子模比率下提供条件$(1-e^{-γ})$前缀保证。在五个识别任务和低样本、大池、全数据协议下，KAGES分别提高了平均AULC 3.9、5.8和3.3点，且在平均AULC上超越了DPP和设施选址选择。图像检索沿KAGES排序表现出后期、任务依赖的饱和，而峰值后下降在冻结LLM融合中重现。这些结果表明，有效的大池融合依赖于选择紧凑且与任务对齐的视图集，而非无差别地融合更多编码器。
🔬 方法详解
问题定义：论文要解决的问题是多视图融合中的视图选择问题，现有方法在编码器数量增加时可能导致性能下降，尤其是后期视图冗余或与任务不对齐。
核心思路：论文的核心思路是提出KAGES方法，通过评估编码器的边际增益来选择最优的视图组合，从而提升下游任务的性能。这样的设计旨在减少冗余视图的影响，确保选择的视图与任务高度对齐。
技术框架：KAGES的整体架构包括视图集的评估和排序模块，首先对所有冻结编码器进行边际增益计算，然后根据计算结果进行选择，最终形成一个紧凑的视图集。
关键创新：KAGES的主要创新在于其标签感知的选择机制和无需下游分类器训练的特性，这与现有方法的选择策略形成了显著区别，后者通常依赖于训练过程。
关键设计：KAGES在选择过程中采用了$ ext{O}(n^2)$的时间复杂度，独立于编码器维度，并在单调性和正子模比率下提供了条件保证，确保选择过程的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，KAGES在五个识别任务中分别提高了平均AULC 3.9、5.8和3.3点，超越了DPP和设施选址选择，显示出其在多视图融合中的显著优势。图像检索任务中，KAGES排序的后期饱和现象也验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等领域，尤其是在需要从大规模异构数据中提取有效信息的任务中。KAGES方法的实际价值在于提升下游任务的性能，减少计算资源的浪费，并为未来的模型选择提供了新的思路。
📄 摘要（原文）
Foundation-model hubs turn multi-view fusion into a selection problem: from a large heterogeneous encoder pool, which views should be fused, and how many? We show that downstream performance is non-monotonic in the number of fused encoders; later views can be redundant or task-misaligned, causing accuracy to saturate or decline. We formalise this setting as view-set composition and propose KAGES (Kernel-Alignment Greedy Encoder Selector), a label-aware method that orders frozen encoders by their marginal gain in centred kernel-target alignment. KAGES requires no downstream classifier training during selection, evaluates each candidate in $\mathcal{O}(n^2)$ time independent of encoder dimension, and admits a conditional $(1-e^{-γ})$ prefix-wise guarantee under monotonicity and a positive submodularity ratio. Across five recognition regimes and low-shot, larger-pool, and full-data protocols, KAGES improves average AULC over full fusion by 3.9, 5.8, and 3.3 points, respectively, and exceeds DPP and facility-location selection in average AULC. Image retrieval exhibits later, task-dependent saturation along the KAGES ordering, while peak-then-decline reproduces in frozen-LLM fusion. These results show that effective large-pool fusion depends on selecting a compact, task-aligned set of views rather than indiscriminately fusing more encoders.