The Cost of Mismatch: Noise Amplification in Zeroth-Order Reinforcement Learning

📄 arXiv: 2611.03260v1 📥 PDF

作者: Lianmin Chen, Junbin Qiu, Chenxing Wei, Yao Shu, Kun He

分类: cs.LG

发布日期: 2026-11-02

备注: Accepted to NeurIPS 2026 (Poster). 31 pages, 2 figures, 6 tables. Code is available at https://github.com/lianmin-chen/the_cost_of_mismatch

🔗 代码/项目: GITHUB

💡 一句话要点

提出ZO-BOLT以解决零阶强化学习中的噪声放大问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零阶优化 强化学习 噪声放大 数据匹配 方差理论 模型训练 内存效率

📋 核心要点

  1. 现有的零阶优化方法在强化学习中应用时，面临噪声放大和数据匹配问题，影响了其可靠性。
  2. 论文提出了一种基于方差理论的框架，分析了数据匹配对ZO梯度估计可靠性的影响，并提出ZO-BOLT方法。
  3. 实验结果显示，ZO-BOLT在多个基准测试中表现优异，相比于预训练模型，性能提升显著，同时内存占用保持低水平。

📝 摘要（中文）

零阶优化（ZO）作为一种内存高效的大型语言模型后训练方法，尚未在具有可验证奖励的强化学习（RLVR）中得到可靠应用。本文提出了一种通用的方差理论框架，探讨了ZO梯度估计的可靠性限制。研究发现，估计的可靠性由有限差分评估是否在匹配数据上进行结构性决定。在不匹配数据的情况下，在线强化学习会产生$1/μ^2$的噪声放大，而在匹配数据的情况下，BOLT通过噪声消除消除了这种放大。我们进一步推导了明确的收敛保证，清晰区分了两种数据处理模式。实验结果表明，ZO-BOLT在多个模型变体和数学推理基准上均优于预训练基线，同时保持接近推理的内存占用。

🔬 方法详解

问题定义：本文旨在解决零阶强化学习中噪声放大和数据不匹配导致的估计不可靠问题。现有方法在处理不匹配数据时，容易产生不可忽视的噪声，影响学习效果。

核心思路：通过构建方差理论框架，分析在线强化学习和固定数据优化的不同数据处理模式，提出ZO-BOLT方法以消除噪声放大。该方法利用匹配数据进行优化，从而提高估计的可靠性。

技术框架：整体架构包括数据匹配评估、ZO梯度估计和BOLT的RLVR对齐加权SFT目标。首先进行数据匹配，然后应用ZO优化，最后进行模型训练和评估。

关键创新：最重要的创新在于提出了ZO-BOLT方法，该方法通过噪声消除机制解决了传统ZO优化在不匹配数据下的噪声放大问题，显著提升了学习的稳定性和效果。

关键设计：在ZO-BOLT中，关键设计包括对扰动规模的控制、损失函数的优化以及模型结构的调整，以确保在不同数据模式下的收敛性和性能提升。具体参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果表明，ZO-BOLT在三个模型变体和两个数学推理基准上均优于预训练基线，性能提升幅度达到显著水平，同时保持接近推理的内存占用，验证了数据匹配的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和其他需要高效学习的强化学习任务。ZO-BOLT方法的提出为在资源受限环境下进行高效学习提供了新的思路，未来可能在实际应用中产生重要影响。

📄 摘要（原文）

Zeroth-order (ZO) optimization has emerged as a promising approach for memory-efficient large language model (LLM) post-training, yet its reliable application to reinforcement learning with verifiable rewards (RLVR) remains largely unexplored. Motivated by the distinct data regimes of on-policy RL and fixed-data optimization, we develop a generic variance-theoretic framework to investigate what limits the reliability of ZO gradient estimation. Our analysis reveals that estimation reliability is structurally determined by whether the two finite-difference evaluations are performed on matched data. On-policy reinforcement learning (RL) under the mismatched-data regime produces a $1/μ^2$ oracle-noise amplification that sets an irreducible noise floor as the perturbation scale $μ$ decreases, whereas Boltzmann Targeted SFT (BOLT) under the matched-data regime eliminates this amplification via noise cancellation. We further derive convergence guarantees with explicit constants that cleanly separate the two regimes. These results naturally lead to ZO-BOLT, which applies ZO optimization to BOLT's RLVR-aligned weighted-SFT objective. Controlled perturbation-scale sweeps and matched-versus-mismatched end-to-end comparisons validate the predicted effect of data matching. Experiments across three model variants and two mathematical reasoning benchmarks further show that ZO-BOLT consistently improves over the pretrained baseline while retaining a near-inference memory footprint. The code is publicly available at https://github.com/lianmin-chen/the_cost_of_mismatch.