CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging
作者: Mingjie Zheng, Zihao Chen, Wenqing Chen, Weile Yuan, Zhixuan Chu, Jianxing Yu, Zibin Zheng
分类: cs.AI, cs.CL
发布日期: 2026-09-02
备注: Accepted for publication at the EMNLP 2026 Main Conference
💡 一句话要点
提出CoMerge以解决多任务模型合并中的参数干扰问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模型合并 多任务学习 偏好优化 参数干扰 自监督学习
📋 核心要点
- 现有模型合并方法在减轻参数干扰方面存在不足，未能有效学习简单合并导致的性能下降。
- 本文提出的CoMerge框架通过冲突驱动的偏好优化，将模型合并视为偏好优化问题，利用自监督策略构建偏好对。
- 实验结果显示，CoMerge在MergeBench上平均性能为0.9968，并在指令跟随和安全性等冲突敏感任务上显著提升。
📝 摘要（中文）
模型合并为构建多任务大型语言模型提供了一种高效的范式，但仍面临参数干扰的挑战。现有方法虽然旨在保留个体专家模型的能力并减轻干扰，但通常未能直接学习由于简单合并导致的潜在性能下降。本文提出了一种基于冲突驱动的偏好优化框架CoMerge，将模型合并重新表述为偏好优化问题。该方法利用自监督的冲突驱动策略，将简单合并方法的缺陷作为难负样本，构建偏好对而无需外部标注。通过应用偏好优化来细化轻量级的张量合并系数，CoMerge使模型能够减轻参数空间冲突，同时保留任务特定能力。大量实验表明，CoMerge在MergeBench上实现了0.9968的平均归一化性能，超越了所有评估的数据无关和数据驱动的模型合并基线。
🔬 方法详解
问题定义：本文旨在解决多任务模型合并中的参数干扰问题。现有方法通常未能有效应对简单合并导致的性能下降，缺乏对潜在缺陷的学习。
核心思路：CoMerge通过将模型合并重新表述为偏好优化问题，利用简单合并方法的缺陷作为难负样本，构建偏好对，从而优化合并过程。
技术框架：CoMerge的整体架构包括数据收集、偏好对构建、偏好优化和合并系数调整等主要模块。首先，通过自监督策略识别简单合并的缺陷，然后生成偏好对，最后优化合并系数以减轻参数冲突。
关键创新：CoMerge的主要创新在于其冲突驱动的偏好优化策略，区别于传统方法直接合并模型参数，能够有效利用模型缺陷进行学习。
关键设计：在设计中，CoMerge采用轻量级的张量合并系数，优化过程仅涉及1,445个标量系数，损失函数设计为基于偏好对的优化目标，确保任务特定能力的保留。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CoMerge在MergeBench上实现了0.9968的平均归一化性能，超越了所有评估的基线。此外，在Llama-3.1-8B-Instruct上，CoMerge在指令跟随和安全性等冲突敏感任务上表现出显著提升，尽管仅优化了1,445个标量系数，仍与全参数微调方法竞争力强。
🎯 应用场景
该研究的潜在应用领域包括多任务学习、大型语言模型的构建和优化等。通过有效的模型合并策略，CoMerge能够在不完全重训练的情况下提升模型性能，具有广泛的实际价值和未来影响，尤其在需要快速适应新任务的场景中。
📄 摘要（原文）
Model merging provides an efficient paradigm for constructing multi-task large language models (LLMs) without full model retraining, yet it remains challenged by parameter interference. While existing methods aim to preserve the capabilities of individual expert models and mitigate interference, they generally do not directly learn from the potentially degraded behaviors exposed by naive merging. In this paper, we propose a conflict-driven preference optimization framework for model merging (CoMerge), which reformulates model merging as a preference optimization problem. The approach utilizes a self-supervised, conflict-driven strategy that leverages the defects of naive merging methods (e.g., task arithmetic) as hard negative samples to construct preference pairs without external annotations. By applying preference optimization to refine lightweight, tensor-wise merging coefficients, CoMerge enables the model to mitigate parameter-space conflicts while preserving task-specific capabilities. Extensive experiments show that CoMerge achieves an average normalized performance of 0.9968 on MergeBench, outperforming all evaluated data-free and data-driven model-merging baselines. Furthermore, on Llama-3.1-8B-Instruct, CoMerge yields marked improvements on conflict-sensitive tasks such as instruction following and safety, while remaining highly competitive with full-parameter fine-tuning despite optimizing only 1,445 scalar coefficients.