ENGINE: Endogenous Variational MultiScale Optimization for Zeroth-Order LLM Fine-Tuning

📄 arXiv: 2611.03293v1 📥 PDF

作者: Zhuoli Ouyang, Changxi Chi, Siyuan Li, Tailin Wu

分类: cs.LG

发布日期: 2026-11-02

备注: NeurIPS 2026, 32 pages, 9 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出ENGINE以解决高维LLM优化中的梯度方差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零阶优化 大规模语言模型 多尺度优化 动态优化 梯度方差 内存效率 模型微调

📋 核心要点

  1. 现有的零阶优化方法在高维参数空间中面临梯度方差爆炸和高昂的计算成本，影响了大规模语言模型的微调效果。
  2. 本文提出ENGINE，通过动态优化的方式，将高维和低维空间结合，利用多尺度理论来降低方差并保留重要信息。
  3. 实验结果显示，ENGINE在标准LLM基准上实现了更高的准确性和更快的收敛，前向传递速度提升高达2.61倍，且无额外内存开销。

📝 摘要（中文）

零阶（ZO）优化使得大规模语言模型（LLM）的微调在内存上更加高效，近期方法引入了考虑曲率的策略。然而，在LLM的高维参数空间中，这些方法面临梯度方差爆炸和成本高昂的问题。相反，将更新限制在低维子空间虽然可以降低方差，但会丢失重要的高维信息，导致性能下降。为了解决这一根本性困境，本文提出了ENGINE（内生变分多尺度优化）。该方法通过多网格样式的V循环，动态探测高维空间中的细粒度信息，并将其注入到低维采样过程中，以纠正效率。实验结果表明，ENGINE在标准LLM基准上比现有ZO方法具有更高的准确性和更快的收敛速度，前向传递速度提升高达2.61倍，且没有额外的峰值内存开销。

🔬 方法详解

问题定义：本文旨在解决高维大规模语言模型微调中的梯度方差爆炸和计算成本高的问题。现有方法在高维空间中优化时，面临信息丢失和方差过大的困境。

核心思路：ENGINE通过将高维和低维空间结合，采用动态优化策略，利用变分多尺度理论来平衡信息保留与方差降低。该方法在低维空间中高效采样，同时动态探测高维空间中的细粒度信息。

技术框架：ENGINE的整体架构采用多网格样式的V循环，交替在高维和低维空间之间进行优化。主要模块包括低维高效采样、细粒度信息探测和信息注入机制。

关键创新：ENGINE的核心创新在于将静态的变分多尺度理论适应于动态优化，打破了全空间优化与子空间优化之间的权衡，能够有效降低方差并纠正曲率引起的偏差。

关键设计：在设计中，ENGINE采用了适当的假设以进行统计分析，设定了收敛性边界，并通过多网格方法实现低维和高维空间的动态交替优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ENGINE在标准LLM基准上实现了显著的性能提升，准确性更高，收敛速度更快，前向传递速度提升高达2.61倍，且没有额外的峰值内存开销，展示了其在实际应用中的优越性。

🎯 应用场景

ENGINE的研究成果在大规模语言模型的微调中具有广泛的应用潜力，尤其是在需要高效计算和内存管理的场景中，如自然语言处理、对话系统和机器翻译等领域。未来，该方法可能推动更高效的模型训练和推理技术的发展。

📄 摘要（原文）

Zeroth-order (ZO) optimization enables memory-efficient large language model (LLM) fine-tuning, and recent methods incorporate curvature-aware strategies. However, in the high-dimensional parameter space of LLMs, these methods inherently suffer from exploding gradient variance and prohibitive costs. Conversely, confining updates to a low-dimensional subspace reduces variance but discards critical high-dimensional information, degrading performance. This creates a fundamental dilemma: full-space optimization is informative but has high variance, while subspace optimization has low variance but loses information. To break this trade-off, we propose ENGINE (Endogenous Variational MultiScale). Inspired by computational mechanics, we adapt static Variational MultiScale (VMS) theory to dynamic optimization, treating low- and high-dimensional spaces as resolved coarse and unresolved fine scales. Through a multigrid-style V-cycle, ENGINE alternates between spaces, dynamically probing fine-grained information in the high-dimensional space and injecting it to correct the efficient low-dimensional sampling process. Under appropriate assumptions, statistical analysis characterizes variance reduction and correction of curvature-induced bias, and convergence analysis establishes a stationarity bound for the corrected coarse updates. Evaluations on standard LLM benchmarks show that ENGINE achieves higher accuracy and faster convergence than existing ZO methods, achieving up to a $2.61\times$ speed-up in forward passes with zero additional peak memory overhead. Code is available at https://github.com/AI4Science-WestlakeU/ENGINE.