Corroborative Learning: Mutual Enhancement through Task-Response Reconstruction
作者: Zexing Zhang, Jichao Li, Tianyang Lei, Yiyin Zhang, Kewei Yang
分类: cs.LG
发布日期: 2026-10-30
💡 一句话要点
提出协同学习方法以解决模型独立性与互补性问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 协同学习 知识转移 模型互补性 任务驱动响应 重构方法 自然语言处理 计算机视觉
📋 核心要点
- 现有的协同学习方法在知识交换与保持模型互补性之间存在结构性权衡，导致性能提升有限。
- 本文提出的协同学习（CL）方法通过任务驱动响应与跨组支持，利用重构方法实现知识的有效交换。
- 在六个语言任务中，CL方法在所有任务上均优于容量匹配的独立适应，显示出显著的性能提升。
📝 摘要（中文）
在模式分析中，独立训练的模型通常因架构、数据和优化的差异而发展出互补能力。现有方法在知识交换与保持互补性之间存在结构性权衡。为此，本文提出了协同学习（CL），通过任务驱动的响应和跨组支持，利用源排除的重构方法来分离适应与评估。该方法无需直接输出匹配或额外推理依赖，且在六个语言任务中，CL在每个任务上均优于容量匹配的独立适应，显示出广泛的优势。
🔬 方法详解
问题定义：本文旨在解决独立训练模型在协同学习中知识交换与互补性保持之间的矛盾。现有方法往往通过减少预测差异来实现知识转移，但这会削弱模型的互补能力。
核心思路：协同学习（CL）通过任务驱动的响应与跨组支持，利用源排除的重构方法来实现知识的有效交换，避免了直接输出匹配的需求。
技术框架：CL的整体架构包括模型的任务驱动响应生成、跨组支持的重构过程，以及通过方向性正则化来约束重构方向。该框架确保了模型在不同组间的适应与评估分离。
关键创新：CL的主要创新在于通过源排除的重构方法实现知识的有效交换，同时保持模型间的互补性。这一方法与传统的知识转移方法本质上不同，因为它不依赖于直接的输出或特征匹配。
关键设计：在CL中，采用线性重构和固定的协作者表示，损失函数设计为正半定方向正则化器，强约束重构能力较弱的方向。信号与噪声条件的分析帮助确定方向收缩何时能有效降低响应估计误差。
🖼️ 关键图片
📊 实验亮点
在六个语言任务中，协同学习（CL）方法在每个任务上均优于容量匹配的独立适应，显示出显著的性能提升。具体而言，CL在大多数定向模型组合中均获得了正向增益，且与传统的转移学习和互学习方法相比，表现出更广泛的优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉等多模态任务，能够有效提升模型在不同任务中的协同能力和适应性。未来，CL方法可能在跨领域知识转移和多任务学习中发挥重要作用，推动智能系统的进一步发展。
📄 摘要（原文）
In pattern analysis, models trained independently for the same task often develop complementary capabilities through differences in architecture, data, and optimization. Exploiting complementarity while retaining independent deployment is central to collaborative learning. Most methods establish transfer by reducing differences in predictions, relations, or representations between target and collaborator, although these differences also underlie complementarity. This creates a structural trade-off between reducing differences for knowledge exchange and preserving them for complementarity. We therefore propose Corroborative Learning (CL). Each model forms task-driven responses, with cross-group support from its collaborator. Source-excluded reconstruction of response increments from collaborator representations separates fitting and evaluation across disjoint groups and selectively constrains directions by cross-group reconstructability. The process requires no direct output or feature matching or additional inference dependency. Furthermore, with linear reconstruction and fixed collaborator representations, the loss equals a positive semidefinite directional regularizer, constraining less reconstructable directions more strongly. Signal and noise conditions characterize when directional shrinkage reduces response-estimation error. Across six language tasks, 24 models, and 36 pairs, CL improves over capacity-matched independent adaptation on every task, with positive gains across most directed model combinations. Pairwise comparisons show broad advantages over transfer and mutual-learning methods and different gains from complementarity across collaboration rules. Low-label language and vision results support cross-domain applicability. Task-relevant differences can support mutual enhancement without eliminating disagreement.