Dissecting Long-Chain-of-Thought Reasoning Models: An Empirical Study

📄 arXiv: 2506.04913v2 📥 PDF

作者: Yongyu Mu, Jiali Zeng, Bei Li, Xinyan Guan, Fandong Meng, Jie Zhou, Tong Xiao, Jingbo Zhu

分类: cs.LG, cs.CL

发布日期: 2025-06-05 (更新: 2025-11-10)

备注: Working in process

🔗 代码/项目: GITHUB

💡 一句话要点

系统分析长链推理模型以提升推理能力与效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长链推理 强化学习 负样本训练 推理效率 数据低效

📋 核心要点

  1. 现有的长链推理模型在训练动态上存在不确定性，且在某些情况下表现出反直觉的行为。
  2. 论文通过分析正负样本的作用，提出了利用负样本来提升模型推理性能的策略。
  3. 实验结果表明，负样本训练在冷启动场景下能显著提升推理效果，且相对长度奖励和离线样本注入策略有效提高了推理效率。

📝 摘要（中文）

尽管通过扩展强化学习（RL）训练长链推理模型取得了进展，但其训练动态仍不够清晰，且存在一些反直觉的行为。本文重点分析了正负样本在扩展RL中的作用，发现正样本有助于精确拟合训练数据，而负样本显著增强了模型的泛化能力和鲁棒性。此外，本文还探讨了组相对策略优化中的数据低效问题，并提出了相对长度奖励和离线样本注入等策略来提升推理效率。最后，研究了不同推理模型和基准测试中的不稳定性，指出贪婪解码可能扭曲评估结果。

🔬 方法详解

问题定义：本文旨在解决长链推理模型训练中的动态不确定性和数据低效问题，现有方法在使用正负样本时未能充分利用负样本的潜力。

核心思路：通过系统分析正负样本在强化学习中的作用，提出负样本训练能够在冷启动场景下实现强推理性能，且能改善模型的泛化能力。

技术框架：研究分为三个主要模块：正负样本分析、数据低效优化策略（相对长度奖励和离线样本注入）以及推理模型性能评估。

关键创新：本研究的创新点在于揭示了负样本在训练中的重要性，尤其是在零强化学习设置下，负样本训练能独立实现优异的推理效果。

关键设计：在实验中，采用了相对长度奖励机制和离线样本注入策略，以提高样本利用率和推理效率，同时在模型评估中注意避免贪婪解码带来的结果扭曲。

📊 实验亮点

实验结果显示，负样本训练在冷启动场景下的推理性能显著优于仅使用正样本的模型，且在组相对策略优化中，通过引入相对长度奖励和离线样本注入，推理效率提升了超过30%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提升长链推理模型的效率和鲁棒性，能够在实际应用中实现更高的准确性和用户满意度，未来可能推动智能系统在复杂任务中的应用。

📄 摘要（原文）

Despite recent progress in training long-chain-of-thought reasoning models via scaling reinforcement learning (RL), its underlying training dynamics remain poorly understood, and several counterintuitive behaviors persist. This work focuses on three key aspects: (1) We systematically analyze the roles of positive and negative samples in scaling RL, revealing that positive samples mainly facilitate precise fitting to the training data, whereas negative samples significantly enhance generalization and robustness. Interestingly, while positive samples are essential for convergence in the zero-RL setting, training on negative samples alone suffices to attain strong reasoning performance and even better generalization in cold-start scenarios. (2) We identify substantial data inefficiency in group relative policy optimization, where over half of the samples yield zero advantage. To address this, we explore two strategies, including relative length rewards and offline sample injection, to leverage these data better and enhance reasoning efficiency and capability. (3) We investigate unstable performance across various reasoning models and benchmarks, attributing instability to uncertain problems with ambiguous outcomes, and demonstrate that greedy decoding can distort evaluation by flipping the correctness of responses. Our code is available at: https://github.com/takagi97/Dissect-Long-Reason-Models.