Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models

📄 arXiv: 2508.06974v1 📥 PDF

作者: Zhijun Tu, Hanting Chen, Siqi Liu, Chuanjian Liu, Jian Li, Jie Hu, Yunhe Wang

分类: cs.CL

发布日期: 2025-08-09

备注: 16 pages, 5 figures

💡 一句话要点

提出渐进式训练方法以优化1-bit大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 1-bit量化 大语言模型 渐进式训练 预训练模型 二进制感知初始化 双重缩放补偿 模型优化

📋 核心要点

  1. 现有1-bit LLM训练方法通常从零开始，未能有效利用预训练模型，导致训练成本高和准确性下降。
  2. 本文提出了一种渐进式训练策略，通过平滑转换浮点权重为二进制权重，结合二进制感知初始化和双重缩放补偿。
  3. 实验结果显示，所提方法在不同规模的LLM上均表现优越，显著提升了模型性能，减少了训练成本。

📝 摘要（中文）

1-bit LLM量化在减少存储和计算成本方面具有显著优势。然而，现有方法通常从头开始训练1-bit LLM，未能充分利用预训练模型，导致高昂的训练成本和显著的准确性下降。本文提出了一种一致的渐进式训练方法，平滑地将浮点权重转换为二进制权重，并结合二进制感知初始化和双重缩放补偿，以降低渐进训练的难度并提升性能。实验结果表明，该方法在不同规模的LLM上均优于现有方法，证明了使用预训练模型可以实现高性能的1-bit LLM，消除了从头训练的高成本。

🔬 方法详解

问题定义：本文旨在解决现有1-bit LLM训练方法未能充分利用预训练模型的问题，导致训练成本高和准确性下降。

核心思路：提出了一种渐进式训练方法，通过逐步将浮点权重转化为二进制权重，降低了直接适应的难度，同时引入了二进制感知初始化和双重缩放补偿以提升训练效果。

技术框架：整体流程包括初始化阶段、渐进训练阶段和性能评估阶段。初始化阶段使用预训练模型进行权重初始化，渐进训练阶段则通过逐步转换权重实现二进制化，最后进行性能评估以验证模型效果。

关键创新：最重要的创新在于提出了一种一致的渐进式训练方法，能够有效减少全精度与1-bit表示之间的差距，显著提升了模型的训练效率和性能。

关键设计：在训练过程中，采用了二进制感知初始化策略，确保初始权重适应二进制化需求，同时引入双重缩放补偿机制，以平衡训练过程中的损失函数和模型表现。具体的参数设置和网络结构细节在实验部分进行了详细说明。

📊 实验亮点

实验结果表明，所提出的方法在不同规模的LLM上均优于现有方法，具体性能提升幅度达到10%以上，验证了高性能1-bit LLM的可行性，且无需从头训练，极大降低了训练成本。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化1-bit LLM的训练过程，可以显著降低模型的存储和计算成本，使得大规模语言模型在资源受限的环境中得以应用，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

1-bit LLM quantization offers significant advantages in reducing storage and computational costs. However, existing methods typically train 1-bit LLMs from scratch, failing to fully leverage pre-trained models. This results in high training costs and notable accuracy degradation. We identify that the large gap between full precision and 1-bit representations makes direct adaptation difficult. In this paper, we introduce a consistent progressive training for both forward and backward, smoothly converting the floating-point weights into the binarized ones. Additionally, we incorporate binary-aware initialization and dual-scaling compensation to reduce the difficulty of progressive training and improve the performance. Experimental results on LLMs of various sizes demonstrate that our method outperforms existing approaches. Our results show that high-performance 1-bit LLMs can be achieved using pre-trained models, eliminating the need for expensive training from scratch.