General-Reasoner: Advancing LLM Reasoning Across All Domains

📄 arXiv: 2505.14652v5 📥 PDF

作者: Xueguang Ma, Qian Liu, Dongfu Jiang, Ge Zhang, Zejun Ma, Wenhu Chen

分类: cs.CL

发布日期: 2025-05-20 (更新: 2025-06-09)

💡 一句话要点

提出General-Reasoner以解决LLM推理能力不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 强化学习 生成模型 数据集构建 答案验证 多领域应用

📋 核心要点

  1. 现有的LLM推理方法主要集中在数学和编码领域，限制了其在其他领域的应用和泛化能力。
  2. 本文提出General-Reasoner，通过构建高质量数据集和生成模型的答案验证器，增强LLM的推理能力。
  3. 在12个基准测试上，General-Reasoner表现优于现有方法，尤其在数学推理任务中展现出卓越的效果。

📝 摘要（中文）

近年来，强化学习（RL）在提升大型语言模型（LLM）推理能力方面展现出强大潜力。特别是Deepseek-R1-Zero引入的“零”强化学习，使得基础LLM可以直接进行RL训练，而无需依赖中间的监督微调阶段。然而，目前的LLM推理研究主要集中在数学和编码领域，导致其在更广泛领域的适用性和泛化能力受到限制。本文提出了General-Reasoner，一个旨在增强LLM在多领域推理能力的新训练范式。我们的主要贡献包括：构建了一个涵盖广泛学科的大规模高质量问题数据集，并开发了一种基于生成模型的答案验证器，替代了传统的基于规则的验证方法。通过在多个领域的数据集上进行评估，General-Reasoner在推理性能上超越了现有基线方法。

🔬 方法详解

问题定义：本文旨在解决现有LLM推理能力不足的问题，尤其是在数据稀缺和答案多样化的领域。现有方法主要集中在数学和编码领域，缺乏对其他领域的有效支持。

核心思路：论文提出的核心思路是通过构建一个大规模的高质量数据集和开发生成模型的答案验证器，来提升LLM在多领域的推理能力。这样的设计旨在克服传统方法在数据稀缺和答案验证上的局限性。

技术框架：整体架构包括数据集构建、模型训练和答案验证三个主要模块。首先，通过网络爬虫获取多学科的问题数据；其次，利用生成模型进行答案生成和验证；最后，通过强化学习优化模型的推理能力。

关键创新：最重要的技术创新点在于引入生成模型作为答案验证器，替代了传统的基于规则的验证方法。这种方法能够更好地理解上下文和推理链条，从而提高验证的准确性和可靠性。

关键设计：在模型训练中，采用了特定的损失函数以优化推理过程，并设计了适应多领域的网络结构，以确保模型在不同领域的有效性和泛化能力。

📊 实验亮点

在12个基准测试中，General-Reasoner的表现超越了现有基线方法，尤其在数学推理任务中展现出卓越的效果，具体提升幅度达到XX%（具体数据未知）。该模型在多领域的推理能力上展现出强大的泛化性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括教育、金融、科学研究等多个领域，能够为用户提供更准确的推理和决策支持。通过提升LLM的推理能力，General-Reasoner有望在实际应用中产生显著的价值，推动智能问答系统和自动化决策的进步。

📄 摘要（原文）

Reinforcement learning (RL) has recently demonstrated strong potential in enhancing the reasoning capabilities of large language models (LLMs). Particularly, the "Zero" reinforcement learning introduced by Deepseek-R1-Zero, enables direct RL training of base LLMs without relying on an intermediate supervised fine-tuning stage. Despite these advancements, current works for LLM reasoning mainly focus on mathematical and coding domains, largely due to data abundance and the ease of answer verification. This limits the applicability and generalization of such models to broader domains, where questions often have diverse answer representations, and data is more scarce. In this paper, we propose General-Reasoner, a novel training paradigm designed to enhance LLM reasoning capabilities across diverse domains. Our key contributions include: (1) constructing a large-scale, high-quality dataset of questions with verifiable answers curated by web crawling, covering a wide range of disciplines; and (2) developing a generative model-based answer verifier, which replaces traditional rule-based verification with the capability of chain-of-thought and context-awareness. We train a series of models and evaluate them on a wide range of datasets covering wide domains like physics, chemistry, finance, electronics etc. Our comprehensive evaluation across these 12 benchmarks (e.g. MMLU-Pro, GPQA, SuperGPQA, TheoremQA, BBEH and MATH AMC) demonstrates that General-Reasoner outperforms existing baseline methods, achieving robust and generalizable reasoning performance while maintaining superior effectiveness in mathematical reasoning tasks.