Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

📄 arXiv: 2607.01232 📥 PDF

作者: Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong

分类: cs.LG, cs.CL

发布日期: 2026-07-05

💡 一句话要点

提出单层Transformer训练方法以优化强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 Transformer 层贡献 模型优化 深度学习

📋 核心要点

  1. 现有的强化学习方法假设所有Transformer层对模型增益的贡献相似，缺乏对层级贡献的深入分析。
  2. 本文提出通过单层训练来挑战这一假设，发现单层训练能够有效恢复大部分RL增益，甚至在某些情况下超越全参数训练。
  3. 实验结果显示，RL增益主要集中在少数层，尤其是中间层的贡献显著，且这一模式在不同模型和任务中保持一致。

📝 摘要（中文）

强化学习（RL）已成为后训练大型语言模型（LLMs）的核心组成部分，但关于RL适应在Transformer层中的分布尚不清楚。现有方法通常均匀更新所有模型参数，隐含假设每层对RL后训练的增益贡献相似。本文通过系统的层级研究挑战这一假设，发现仅训练单个Transformer层即可恢复大部分全参数RL训练所获得的增益，甚至在某些情况下超越它。我们引入了层贡献这一量度，量化单独训练一层所恢复的全RL改进的比例。通过对七个模型的实验，观察到RL增益高度集中在少数层，尤其是Transformer堆栈中间的层贡献显著。

🔬 方法详解

问题定义：本文旨在探讨强化学习在Transformer层中的适应性分布，现有方法假设所有层均匀贡献，缺乏对层级贡献的细致分析。

核心思路：通过系统的层级研究，提出仅训练单个Transformer层的策略，验证其在恢复RL增益方面的有效性，挑战传统的全参数更新假设。

技术框架：研究涉及七个模型，涵盖两个模型家族（Qwen3, Qwen2.5）和三种RL算法（GRPO, GiGPO, Dr. GRPO），在多个任务领域（数学推理、代码生成、决策制定）中进行实验。

关键创新：引入层贡献量度，量化单层训练所恢复的RL增益比例，发现大部分增益集中在少数层，尤其是中间层，显著区别于传统方法的均匀假设。

关键设计：实验中对不同层的训练进行了细致分析，发现中间层的贡献显著高于输入和输出层，且层级贡献在不同数据集、任务和算法中保持一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，仅训练单个Transformer层即可恢复大部分RL增益，甚至在某些情况下超越全参数训练。层贡献分析显示，增益主要集中在中间层，且这一模式在不同模型和任务中保持一致，具有重要的实用价值。

🎯 应用场景

该研究为强化学习在大型语言模型中的应用提供了新的视角，尤其是在模型优化和资源配置方面。通过聚焦于少数高贡献层，未来的模型训练可以更加高效，减少计算资源的浪费，推动更智能的AI系统发展。

📄 摘要（原文）

Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.