Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

📄 arXiv: 2607.01232v1 📥 PDF

作者: Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong

分类: cs.LG, cs.CL

发布日期: 2026-07-01

💡 一句话要点

提出单层Transformer训练方法以优化强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 Transformer 层级分析 模型优化 深度学习

📋 核心要点

  1. 现有的强化学习方法假设每个Transformer层对模型性能的提升贡献相似，缺乏对层级贡献的深入分析。
  2. 本文通过系统的层级研究，提出训练单个Transformer层的方法，挑战了传统的全参数更新假设。
  3. 实验结果显示，单层训练能够恢复大部分RL增益，且层贡献在不同模型和任务中表现出一致性，尤其是中间层的贡献显著。

📝 摘要（中文）

强化学习（RL）已成为后训练大型语言模型（LLMs）的核心组成部分，但关于RL适应在Transformer层中的分布尚不清楚。现有方法通常均匀更新所有模型参数，隐含假设每层对RL后训练的增益贡献相似。本文通过系统的层级研究挑战这一假设，发现训练单个Transformer层能够恢复大部分由全参数RL训练获得的增益，甚至在某些情况下超越全参数训练。我们引入了层贡献这一量化指标，衡量单独训练一层所恢复的全RL改进的比例。通过对七个模型和多个任务领域的观察，发现RL增益高度集中在少数层，尤其是中间层的贡献显著，而输入和输出端的层贡献较少。

🔬 方法详解

问题定义：本文旨在探讨强化学习在Transformer模型中的层级贡献，现有方法未能有效识别各层对性能提升的不同影响。

核心思路：通过训练单个Transformer层，验证其是否能够恢复大部分全参数RL训练的增益，从而挑战均匀更新所有参数的传统假设。

技术框架：研究涉及对七个模型的层级分析，使用三种RL算法（GRPO、GiGPO、Dr. GRPO），并在多个任务领域（如数学推理、代码生成等）进行实验。

关键创新：引入层贡献这一新指标，量化单层训练所恢复的RL改进比例，揭示了层级贡献的集中性，尤其是中间层的高贡献特性。

关键设计：在实验中，采用不同的RL算法和模型架构，评估不同层的贡献，发现中间层的贡献显著高于输入和输出层，且这种模式在不同数据集和任务中保持一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，训练单个Transformer层能够恢复大部分RL增益，甚至在某些情况下超越全参数训练。层贡献的分析显示，中间层的贡献显著高于其他层，且这种模式在不同模型和任务中保持一致，提供了新的优化思路。

🎯 应用场景

该研究为强化学习在大型语言模型中的应用提供了新的视角，尤其是在模型优化和资源配置方面。通过识别高贡献层，研究者可以更有效地进行模型微调，提升模型在特定任务上的表现，未来可能影响RL算法的设计与应用。

📄 摘要（原文）

Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.