Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL
作者: Yunhao Yang, Yuexin Bian, Yunjie Tian, Di Fu, Tianjin Huang, Yuanyuan Shi, Ziang Xiao, Nuno Vasconcelos, Yijiang Li
分类: cs.LG, cs.AI, cs.CV
发布日期: 2026-08-18
备注: 30 pages, 5 figures, 11 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出Co-RL框架以解决无监督推理中的反馈循环问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无监督学习 强化学习 多智能体系统 推理能力 模型多样性
📋 核心要点
- 现有的强化学习方法在推理能力上依赖真实标签，获取成本高且难以扩展。
- Co-RL框架通过多智能体合作训练，利用同伴模型的奖励信号来实现无监督推理。
- Co-RL在七个文本基准和四个多模态基准上均表现优异，提升幅度达到3.0-8.6%。
📝 摘要（中文）
强化学习（RL）已成为提升语言和视觉-语言模型推理能力的有效方法，但其成功仍依赖于真实标签的监督，这些标签获取成本高且日益稀缺。自奖励RL虽然减少了对真实标签的依赖，但可能导致模型偏见和响应同质化。本文提出Co-RL框架，通过多智能体的合作训练，利用来自同伴的奖励信号实现无监督推理。我们发现，通过增加模型的多样性，可以有效减少自我强化反馈循环带来的相关错误，从而提升推理性能和行为多样性。实验结果表明，Co-RL在文本和多模态领域均优于基线模型和先前的无标签方法，并在多个基准测试中实现了3.0-8.6%的平均提升。
🔬 方法详解
问题定义：本文旨在解决现有强化学习方法对真实标签的依赖问题，尤其是在推理能力提升过程中，真实标签的获取成本高且难以扩展。自奖励RL虽然减少了对真实标签的依赖，但可能导致模型偏见和响应同质化。
核心思路：Co-RL框架的核心思想是通过多智能体的合作训练，利用不同模型之间的奖励信号来实现无监督推理。通过引入多样化的模型和训练样本，减少相关错误，避免自我强化反馈循环。
技术框架：Co-RL框架包括多个解耦的模型，这些模型之间没有共享参数。每个模型通过与其他模型的交互获得奖励信号，优化过程是并行进行的。框架的主要模块包括模型训练、奖励信号生成和反馈机制。
关键创新：Co-RL的最大创新在于通过多样化的模型群体来减少自我强化反馈循环的影响，这与传统的单一模型训练方法本质上不同。通过引入异构模型和多样化的训练样本，显著提升了推理性能和行为多样性。
关键设计：在设计中，模型的多样性通过选择不同的模型家族和大小来实现，同时使用重新表述的训练样本。损失函数和奖励机制经过精心设计，以确保模型之间的有效合作和反馈。整体架构支持并行训练，提升了训练效率。
🖼️ 关键图片
📊 实验亮点
在实验中，Co-RL在七个文本基准测试中平均提升了3.0-8.6%，在四个多模态基准测试中提升了2.3-7.2%。这些结果表明，Co-RL不仅优于基线模型和先前的无标签方法，还在某些情况下与监督方法的表现相当或更优。
🎯 应用场景
Co-RL框架在自然语言处理和计算机视觉等领域具有广泛的应用潜力。其无监督推理能力可以用于生成对话系统、智能问答、图像描述生成等任务，降低对人工标注的依赖，提升模型的适应性和灵活性。未来，Co-RL有望推动更多领域的智能体合作与学习。
📄 摘要（原文）
Reinforcement learning (RL) has emerged as a powerful approach for improving reasoning in language and vision-language models, yet its strongest successes still depend heavily on ground-truth supervision (e.g., verifiable reward). Such annotations are costly to obtain and become increasingly scarce as reasoning capabilities advance beyond what humans can reliably evaluate. Self-rewarding RL reduces this dependence by enabling models to derive reward signals from their own completions. However, training solely on self-generated feedback can reinforce existing biases and suboptimal behaviors, reduce response diversity, and ultimately lead to homogenized responses and training collapse. In this work, we show that unsupervised reasoning can emerge through cooperative multi-agent training. We introduce Co-RL, a framework in which multiple decoupled models, sharing no parameters, are simultaneously optimized through RL using rewards derived from their peers. We further show that increasing cohort diversity, through heterogeneous model families, sizes, and rephrased training samples, reduces the correlated errors that drive self-reinforcing feedback loops. This diversity consistently improves reasoning performance, maintains behavioral diversity, and mitigates training collapse. Across text-only and multimodal domains, Co-RL consistently outperforms the base models and prior label-free approaches, while matching or surpassing supervised methods, without access to any ground-truth labels. Concretely, Co-RL yields average gains of 3.0-8.6% across seven text-only benchmarks for LLMs and 2.3-7.2% across four multimodal benchmarks for VLMs. Code is available at https://github.com/DrStranded/Co-RL.