Optimal Brain Decomposition for Accurate LLM Low-Rank Approximation

📄 arXiv: 2604.00821v1 📥 PDF

作者: Yuhang Li, Donghyun Lee, Ruokai Yin, Priyadarshini Panda

分类: cs.LG

发布日期: 2026-04-01

💡 一句话要点

提出最优脑分解方法以提升大语言模型低秩近似精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 低秩分解 奇异值分解 Hessian信息 模型优化 双向白化 损失感知

📋 核心要点

  1. 现有方法在大语言模型的低秩分解中主要依赖于激活白化空间，未能充分利用模型空间的信息。
  2. 论文提出的OBD-LLM通过引入二阶Hessian信息，优化了权重矩阵的分解过程，考虑了输入和输出的双向信息。
  3. 实验结果表明，OBD-LLM在分解精度上比SVD-LLM提升了20-40%，展示了其优越性。

📝 摘要（中文）

低秩分解在大语言模型（LLM）的微调和推理中变得越来越重要。通过奇异值分解（SVD），权重矩阵可以被最优地分解为低秩空间。以往的做法是在激活白化空间中进行分解，而本研究提出了最优脑分解LLM（OBD-LLM），通过利用二阶Hessian信息研究模型空间中的分解问题。通过对Hessian的严格Kronecker分解，我们表明分解需要同时考虑层的输入和输出信息，相较于仅考虑输入的方法，OBD-LLM取得了更好的分解结果。我们的损失感知分解方法涉及对权重矩阵的双向白化，最终实现了语言模型权重的最优分解闭式解。显著地，我们的结果比之前的最先进分解方法SVD-LLM提高了约20-40%。

🔬 方法详解

问题定义：本论文旨在解决大语言模型低秩分解中的信息利用不足问题。现有方法通常只考虑激活白化空间，未能有效整合模型的输入和输出信息，导致分解效果不佳。

核心思路：论文提出的OBD-LLM通过引入二阶Hessian信息，优化了权重矩阵的分解过程。该方法强调在分解时同时考虑输入和输出信息，从而提高了分解的准确性和有效性。

技术框架：OBD-LLM的整体架构包括对Hessian的Kronecker分解和双向白化处理。首先，对Hessian进行分解以提取关键信息，然后通过双向白化技术优化权重矩阵的表示。

关键创新：最重要的创新在于引入了Hessian的二阶信息，突破了传统方法仅依赖输入信息的局限，显著提升了分解的精度。

关键设计：在设计中，采用了损失感知的分解方法，并对权重矩阵进行了双向白化处理，确保了分解结果的最优性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OBD-LLM在低秩分解精度上比现有的SVD-LLM方法提高了20-40%。这一显著提升表明OBD-LLM在处理大语言模型时的有效性和优越性，具有重要的研究和应用价值。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过提升大语言模型的低秩近似精度，OBD-LLM能够在资源受限的环境中实现更高效的模型推理，具有重要的实际价值和未来影响。

📄 摘要（原文）

Low-rank decomposition has emerged as an important problem in Large Language Model (LLM) fine-tuning and inference. Through Singular Value Decomposition (SVD), the weight matrix can be factorized into low-rank spaces optimally. Previously, a common practice was to decompose the weight in the activation-whitened space, and then achieve satisfying results. In this work, we propose Optimal Brain Decomposition LLM (OBD-LLM), which studies the decomposition problem in the model space by utilizing second-order Hessian information. Through a rigorous Kronecker-factorization of the Hessian, we show that the decomposition needs to consider both input and output information of the layer, and achieves much better decomposition results compared to input only method. Our loss-aware decomposition method involves a bi-directional whitening on the weight matrix. As a result, OBD-LLM is a closed-form solution for the optimal decomposition of weights in the language model. Remarkably, we achieve ~20-40\% better results than previous state-of-the-art decomposition methods, the SVD-LLM.