NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research
作者: Qiaobo Hao, Yangqian Wu, Shunyi Wang, Zhongjian Zhang, Ziqun Li, Yayin He, Muqing Li, Chen Zhong
分类: cs.AI
发布日期: 2026-06-25
备注: 29 pages, 8 figures
💡 一句话要点
提出NebulaExp-8B以解决大语言模型后训练透明性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 后训练对齐 大型语言模型 消融研究 数据处理 强化学习 指令遵循 推理能力 模型优化
📋 核心要点
- 现有后训练方法缺乏透明性，限制了模型优化和社区的可重复性。
- 提出NebulaExp后训练管道，通过消融研究实现数据处理和模型优化的透明性。
- 实验表明，NebulaExp在多个基准上显著提升了模型性能，尤其是在指令遵循和推理能力上。
📝 摘要（中文）
后训练对齐决定了大型语言模型的推理和人类偏好能力，但现有研究缺乏详细的数据构建、过滤规则和训练方案，限制了社区的可重复性和轻量模型优化。本文提出NebulaExp，一个完全透明的、基于消融研究的后训练管道，涵盖通用指令模型和复杂推理专用模型两个方向。我们整理了384万条多源SFT样本和20万条可验证的RL候选池，并设计了一个端到端的数据处理流程。实验结果显示，NebulaExp-Ins-SFT在指令分支上将基准分数从55.01提升至60.99，GRPO强化学习进一步提升至61.85；在推理分支上，中等难度的GRPO RL将推理分数从73.88提升至75.17。
🔬 方法详解
问题定义：本文旨在解决大型语言模型后训练过程中的透明性问题，现有方法往往缺乏详细的数据构建和训练方案，影响了模型的可重复性和优化效果。
核心思路：NebulaExp通过消融研究构建一个透明的后训练管道，涵盖数据处理、模型训练和评估，确保每个步骤都可被复现和验证。
技术框架：该管道包括两个主要分支：通用指令模型和复杂推理专用模型。数据处理流程包括响应蒸馏、多维交叉验证过滤、细粒度难度分级、任务分类和多样性采样。
关键创新：最重要的创新在于通过系统化的单教师和多教师OPD方法，利用少量样本实现了对RL基线的显著超越，提升了模型的整体性能。
关键设计：在指令分支中，采用三阶段优化的监督微调方法，结合GRPO强化学习，优化了损失函数和训练策略，确保模型在不同任务上的适应性和性能提升。实验中使用的样本量和教师模型的选择也经过精心设计，以实现最佳效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，NebulaExp-Ins-SFT在指令分支上将基准分数从55.01提升至60.99，GRPO强化学习进一步提升至61.85；在推理分支上，中等难度的GRPO RL将推理分数从73.88提升至75.17，整体性能显著优于基线模型。
🎯 应用场景
NebulaExp的研究成果可广泛应用于大型语言模型的后训练优化，尤其是在需要高透明度和可重复性的领域，如教育、医疗和法律等。通过提升模型的推理和指令遵循能力，该方法有潜力推动智能助手和自动化系统的进一步发展。
📄 摘要（原文）
Post-training alignment determines the reasoning and human preference following capabilities of large language models, yet most existing works withhold detailed data construction, filtering rules and training recipes, which hinders community reproducibility and lightweight model optimization. This work presents NebulaExp, a fully transparent, ablation-driven post-training pipeline built on Qwen3-8B-base, covering two orthogonal model branches: general instruct model and complex reasoning-specialized model. We curate a raw corpus of 3.84M multi-source SFT samples and a 200K verifiable RL candidate pool, and design an end-to-end data processing stack including response distillation, multi-dimensional cross-verification filtering, fine-grained difficulty grading, task classification and diversity-aware sampling. For the Instruct branch, our three-stage optimized supervised fine-tuning approach NebulaExp-Ins-SFT improves the average benchmark score from the 55.01 baseline of Qwen3-8B-nothink to 60.99. GRPO reinforcement learning then further elevates the average score to 61.85. For the Reasoning branch, medium-difficulty GRPO RL improves average reasoning score from 73.88 to 75.17. To address RL's dependency on task verifiers, we systematically investigate single-teacher and multi-teacher OPD (MOPD): utilizing merely 4K instruction-following samples and outperforms RL baseline by 3.26 points on IFEval with +4.43 average overall gain; MOPD fuses four domain-specialist teachers with merely 10K samples, lifting average performance by 4.18 over the base model. This report provides a fully reproducible empirical post-training recipe for 8B-scale LLMs, and comprehensively dissects the capability trade-offs among instruction adherence, mathematical reasoning, code generation and general knowledge.