Post-Training Science for Supervised Fine-Tuning

📄 arXiv: 2609.01244v1 📥 PDF

作者: Charles O'Neill, Mudith Jayasekara, Harry Partridge

分类: cs.LG, cs.CL

发布日期: 2026-09-01

💡 一句话要点

提出后训练科学以优化监督微调过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 监督微调 超参数优化 模型评估 LoRA 几何感知优化器 自然语言处理 计算机视觉

📋 核心要点

  1. 现有的监督微调方法在每次训练时都需要从头开始确定多个超参数，效率低下且不一致。
  2. 论文提出了一种系统化的实验方法，通过逐一调整超参数，评估其对不同模型和数据集的影响。
  3. 实验结果表明，优化的学习率和批量大小与模型规模和数据量密切相关，且LoRA与完整微调的选择具有显著影响。

📝 摘要（中文）

每次监督微调都需要重新确定学习率、批量大小、LoRA或完整微调等多个决策。本文通过对不同模型和数据集的系统实验，评估这些参数的最佳选择，并探讨其在模型规模和数据量变化下的表现。研究结果显示，LoRA与完整微调之间的权衡、验证损失与下游质量的关系，以及几何感知优化器对AdamW的改进效果，为后续微调提供了实用的指导和不确定性度量。

🔬 方法详解

问题定义：本文旨在解决监督微调过程中超参数选择的重复性和不一致性问题。现有方法通常需要针对每个新模型和数据集重新发现最佳超参数，导致效率低下。

核心思路：通过系统化的实验设计，逐一调整学习率、批量大小等超参数，评估其在不同模型（如Qwen3和Llama）和数据集上的表现，从而提供更可靠的微调指导。

技术框架：研究采用了一个控制实验平台，涵盖了LoRA和完整微调的不同设置，针对四个真实客户数据集进行评估。每个任务的训练数据经过迭代微调，以确保监督目标的一致性。

关键创新：本研究的创新在于通过系统的超参数调整实验，揭示了不同模型和数据集下的最佳选择，并提供了不确定性度量。这与传统方法的随机选择形成鲜明对比。

关键设计：研究中关注的关键参数包括学习率、批量大小、LoRA的秩和α值等，此外还探讨了验证损失与下游任务质量之间的关系，以及几何感知优化器对传统优化器的改进效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，优化的学习率和批量大小在不同模型和数据集上具有一致性，LoRA与完整微调的选择对模型性能有显著影响。此外，几何感知优化器在某些情况下优于传统的AdamW优化器，提供了更好的训练效果。

🎯 应用场景

该研究的成果可广泛应用于自然语言处理、计算机视觉等领域的模型微调，帮助研究人员和工程师在不同任务中快速找到最佳超参数设置，提高模型性能和训练效率。未来，随着模型规模的不断扩大，该方法的指导意义将愈加重要。

📄 摘要（原文）

Every supervised fine-tuning run forces the same chain of decisions, such as learning rate, batch size, LoRA or full fine-tuning, how many epochs, which optimiser, and what data to feed the model. Each of these is typically rediscovered from scratch for every new model and dataset. Here we measure them under one instrument: a sweep that varies one lever at a time, and spans dense and mixture-of-experts models in two families (Qwen3 and Llama), on four real-world customer SFT datasets, for both LoRA and full fine-tuning. These datasets give a controlled testbed: each task carries an evaluation built with the customer, and its training data is produced by iterative supervised fine-tuning that refines model outputs until they pass that evaluation, so the supervised target is internally consistent and the task judge we report against is the criterion the data was built to satisfy. We ask how the optimal learning rate and batch size move with model scale, family, and data, and whether one selection rule transfers across them; what LoRA trades against full fine-tuning, and how its rank and alpha set what the adapter can learn; whether validation loss (or other metrics, such as loss landscape flatness) faithfully ranks downstream quality; whether post-training gains scale with model size and data volume, on a model ladder extended through mixtures-of-experts to 235B parameters; how many epochs to train before general instruction-following erodes; and whether a geometry-aware optimiser improves on AdamW. Each recommendation is paired with a measure of its uncertainty.