VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models
作者: Sen Xu, Shixi Liu, Wei Wang, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong Chen, Xin Zhou, Junlin Zhang
分类: cs.AI, cs.CL
发布日期: 2026-06-15
💡 一句话要点
提出VibeThinker-3B以推动小型语言模型的可验证推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 小型语言模型 可验证推理 课程微调 强化学习 自蒸馏
📋 核心要点
- 现有小型语言模型在可验证推理方面的能力有限，难以满足高要求的任务需求。
- VibeThinker-3B通过优化的训练流程，包括课程微调和强化学习，系统性提升小型模型的推理能力。
- 实验结果显示，VibeThinker-3B在多个基准测试中表现优异，超越了许多大型模型，展现出强大的泛化能力。
📝 摘要（中文）
本技术报告介绍了VibeThinker-3B，这是一种具有30亿参数的紧凑型密集模型，旨在探索在严格的小模型环境中可验证推理的极限。基于Spectrum-to-Signal后训练范式，我们通过优化的流程系统性地增强模型，包括基于课程的监督微调、多领域强化学习和离线自蒸馏。实验评估表明，VibeThinker-3B在高要求的可验证任务上达到了前沿水平的性能，具体在AIME26上得分94.3（通过声明级测试时间扩展提高至97.1），在LiveCodeBench v6上Pass@1为80.2，并在最近未见的LeetCode竞赛中展现出96.1%的强泛化能力。这使其在性能上与一流推理系统相匹配或超越了规模大几个数量级的旗舰模型，如DeepSeek V3.2、GLM-5和Gemini 3 Pro。此外，在IFEval上得分93.4确认了这种极端推理增强并未妨碍严格的指令可控性。这些发现激励了参数压缩覆盖假设，认为可验证推理可以压缩为紧凑的推理核心，而开放领域知识和通用能力则需要对事实、概念和长尾场景的广泛参数覆盖。
🔬 方法详解
问题定义：本论文旨在解决小型语言模型在可验证推理任务中的性能不足，现有方法往往无法在严格的参数限制下实现高效推理。
核心思路：VibeThinker-3B的核心思路是通过优化的训练管道，结合多种技术手段，提升小型模型的推理能力，使其在复杂任务中表现出色。
技术框架：整体架构包括三个主要阶段：首先是基于课程的监督微调，其次是多领域强化学习，最后是离线自蒸馏。这些阶段相辅相成，形成了一个高效的训练流程。
关键创新：最重要的创新在于将可验证推理视为可压缩的核心能力，通过参数覆盖的优化，使得小型模型能够在保持高性能的同时，减少计算资源的消耗。
关键设计：在模型设计中，采用了特定的损失函数以增强推理能力，同时在参数设置上进行了细致的调整，以确保模型在不同任务中的适应性和可控性。
🖼️ 关键图片
📊 实验亮点
VibeThinker-3B在AIME26上得分94.3，经过声明级扩展后提升至97.1；在LiveCodeBench v6上Pass@1为80.2，并在LeetCode竞赛中展现出96.1%的接受率。这些结果表明其性能与大型模型相当，甚至在某些任务上表现更优。
🎯 应用场景
VibeThinker-3B的研究成果在多个领域具有潜在应用价值，包括教育、编程辅助、法律推理等。其高效的推理能力和良好的泛化性能使其能够在实际场景中提供可靠的支持，推动智能系统的进一步发展。
📄 摘要（原文）
This technical report introduces VibeThinker-3B, a compact dense model with 3B parameters developed to investigate how far verifiable reasoning can be pushed within a strictly small-model regime. Building upon the Spectrum-to-Signal post-training paradigm, we systematically enhance the model through an optimized pipeline that includes curriculum-based supervised fine-tuning, multi-domain reinforcement learning, and offline self-distillation. Experimental evaluations demonstrate that VibeThinker-3B achieves frontier-level performance on highly demanding verifiable tasks. Specifically, it attains a score of 94.3 on AIME26 (improving to 97.1 with claim-level test-time scaling), an 80.2 Pass@1 on LiveCodeBench v6, and exhibits strong out-of-distribution generalization with a 96.1\% acceptance rate on recent unseen LeetCode contests. This effectively places it in the performance band of first-tier reasoning systems, matching or exceeding flagship models that are orders of magnitude larger, such as DeepSeek V3.2, GLM-5, and Gemini 3 Pro. Furthermore, a score of 93.4 on IFEval confirms that this extreme reasoning enhancement does not compromise strict instruction controllability. Extending our previous 1.5B work, these findings motivate the Parametric Compression-Coverage Hypothesis, which views verifiable reasoning as compressible into compact reasoning cores, while open-domain knowledge and general-purpose competence require broad parameter coverage over facts, concepts, and long-tail scenarios. This perspective suggests that compact models are not merely deployment-efficient substitutes, but a complementary path toward frontier-level performance in parameter-dense capability regimes.