StereoFactory: A Unified Merging Framework for Robust Stereo Matching
作者: Xianda Guo, Pinhan Fu, Ruilin Wang, Wenke Huang, Mang Ye, Qin Zou
分类: cs.CV
发布日期: 2026-06-16
🔗 代码/项目: GITHUB
💡 一句话要点
提出StereoFactory以解决立体匹配模型合并问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 立体匹配 模型合并 遗传算法 CMA-ES优化 计算机视觉 自适应学习
📋 核心要点
- 现有立体匹配方法在引入新数据时需要昂贵的联合重训练，导致可扩展性不足。
- StereoFactory通过遗传算法和CMA-ES优化实现自适应模型合并，提升了模型的知识整合能力。
- 实验结果显示，StereoFactory在多个基准测试中表现优异，平均误差显著降低，同时减少了重训练时间。
📝 摘要（中文）
立体匹配通过在大规模数据集上训练的基础模型取得了进展，但这一范式面临可扩展性瓶颈：引入新数据需要昂贵的联合重训练。模型合并提供了一种可扩展的后处理替代方案，通过在源检查点可用后整合来自专业模型的知识。然而，现有合并方法通常保留所有可用模型或依赖贪婪包含，这可能保留有害的任务向量干扰。我们提出了StereoFactory，一种自适应模型合并的粗到细进化框架。实验表明，StereoFactory在相同检查点池下在四个基准测试中始终实现最佳平均性能，平均误差显著降低。
🔬 方法详解
问题定义：本论文旨在解决立体匹配中模型合并的可扩展性问题。现有方法在引入新数据时需要进行昂贵的联合重训练，导致效率低下。
核心思路：我们提出StereoFactory框架，通过遗传算法和CMA-ES优化实现模型的自适应合并，避免了传统方法中可能存在的有害干扰。
技术框架：StereoFactory分为两个主要阶段：第一阶段使用遗传算法搜索模型子集的组合空间，确定参与合并的模型；第二阶段通过CMA-ES优化实现模块级知识特化，优化架构自适应路由。
关键创新：本研究的创新点在于引入了遗传算法进行模型选择，以及通过CMA-ES实现模块级知识的优化路由，这与现有方法的贪婪选择策略形成了鲜明对比。
关键设计：在设计中，我们关注模块级的知识特化，允许不同功能模块对知识源的偏好进行优化，同时实现可选的模块级缩放，确保模型在不同架构间的知识转移最小化性能下降。
🖼️ 关键图片
📊 实验亮点
在实验中，StereoFactory在四个基准测试中表现出色，平均误差在NMRF上从3.80降至3.30，在FoundationStereo上从2.88降至2.19。同时，后处理搜索仅需2.7%至3.7%的联合重训练时间，显示出显著的效率提升。
🎯 应用场景
StereoFactory的研究成果在计算机视觉、机器人导航和自动驾驶等领域具有广泛的应用潜力。通过提高模型合并的效率和准确性，该框架能够支持更复杂的视觉任务和实时系统，推动智能系统的发展。未来，随着数据集的不断扩展，StereoFactory有望成为立体匹配领域的标准工具。
📄 摘要（原文）
Stereo matching has advanced through foundation models trained on large-scale datasets, yet this paradigm suffers from a scalability bottleneck: incorporating new data requires costly joint retraining. Model merging offers a scalable post-hoc alternative by integrating knowledge from specialized models after source checkpoints are available. However, existing merging methods typically retain all available models or rely on greedy inclusion, which can preserve harmful task-vector interference. We propose StereoFactory, a coarse-to-fine evolutionary framework for adaptive model merging. Stage~1 employs a genetic algorithm to search the combinatorial space of model subsets, determining which models should participate. Stage~2 addresses module-level knowledge specialization (different functional modules exhibit distinct preferences for knowledge sources) through CMA-ES optimization of architecture-adaptive routing over the selected task vectors, with optional module-level scaling. Experiments across two architectures and four benchmarks demonstrate that StereoFactory consistently achieves the best four-benchmark average under the same checkpoint pool, reducing the average error from 3.80 to 3.30 on NMRF and from 2.88 to 2.19 on FoundationStereo relative to the strongest controlled baseline. The post-hoc search requires only 2.7--3.7\% of the corresponding joint-retraining wall-clock time. Analysis reveals that knowledge contributions are inherently module-specific, and selected subsets can transfer across architectures with minimal degradation. Code will be publicly released upon acceptance at: https://github.com/XiandaGuo/StereoFactory.