BitNet Text Embeddings
作者: Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao
分类: cs.CL, cs.IR
发布日期: 2026-06-24
备注: Under review
💡 一句话要点
提出BITEMBED以解决LLM文本嵌入的存储与效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 文本嵌入 低比特编码 量化学习 对比学习 存储优化 大规模语言模型 知识蒸馏
📋 核心要点
- 现有的LLM文本嵌入方法在推理速度和存储效率上存在显著不足，限制了其大规模应用。
- BITEMBED通过将LLM骨干转换为低比特嵌入编码器，采用三元权重和量化激活，提升了编码效率和存储能力。
- 实验结果表明，BITEMBED在MMTEB数据集上与全精度教师嵌入器相比，性能相当，同时支持多种存储精度的嵌入生成。
📝 摘要（中文）
基于大规模语言模型(LLM)的文本嵌入在检索和语义表示质量上有显著提升，但其部署成本高昂：大型骨干模型导致嵌入推理速度慢，而高维全精度嵌入则对存储和带宽造成巨大压力。本文提出BITEMBED，一个极低比特的LLM文本嵌入框架，旨在提高编码效率和向量存储。BITEMBED将预训练的LLM骨干转换为BitNet风格的嵌入编码器，采用三元权重、量化激活和轻量级归一化精炼。经过持续对比预训练和监督对比微调，BITEMBED能够灵活生成多种精度的文本嵌入，平衡性能与存储成本。
🔬 方法详解
问题定义：本文旨在解决基于LLM的文本嵌入在推理速度和存储效率上的不足。现有方法由于使用大型骨干模型和高维全精度嵌入，导致部署成本高昂，限制了其实际应用。
核心思路：BITEMBED的核心思路是将预训练的LLM骨干转换为低比特的嵌入编码器，通过三元权重和量化激活来提高编码效率，同时进行轻量级的归一化精炼，以减少存储需求。
技术框架：BITEMBED的整体架构包括三个主要阶段：首先是将LLM骨干转换为BitNet风格的编码器；其次是通过持续对比预训练来适应表示学习；最后进行监督对比微调，结合相似性分布蒸馏和注意力关系蒸馏，从全精度教师模型中提取知识。
关键创新：BITEMBED的主要创新在于其极低比特的嵌入编码方式和灵活的输出嵌入精度，能够在不同存储需求的场景下实现性能与存储成本的平衡。这一设计与传统的全精度嵌入方法有本质区别。
关键设计：在模型设计中，BITEMBED采用了三元权重和量化激活，结合了轻量级的归一化策略。此外，损失函数的设计也考虑了相似性分布和注意力关系的蒸馏，确保了模型在低比特情况下的有效学习。
🖼️ 关键图片
📊 实验亮点
在MMTEB数据集上，BITEMBED与全精度教师嵌入器的性能相当，显示出其在低比特嵌入方面的有效性。此外，BITEMBED能够灵活生成多种精度的文本嵌入，成功实现了性能与存储成本之间的平衡。
🎯 应用场景
BITEMBED的研究成果在文本检索、语义搜索和自然语言处理等领域具有广泛的应用潜力。通过降低存储需求和提高推理效率，该方法能够支持大规模文本数据的实时处理，推动智能搜索引擎和推荐系统的发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
LLM-based text embedders have substantially improved retrieval and semantic representation quality, but their deployment remains costly: large backbone models slow down embedding inference, while high-dimensional full-precision embeddings impose substantial storage and bandwidth overhead on large-scale indexes. In this paper, we present BITEMBED, an extreme low-bit framework for LLM-based text embedding that jointly targets encoding efficiency and vector storage. BITEMBED converts pretrained LLM backbones into BitNet-style embedding encoders with ternary weights, quantized activations, and lightweight normalization refinement. The converted model is adapted to representation learning through continual contrastive pre-training, followed by supervised contrastive fine-tuning with both similarity-distribution distillation and attention-relation distillation from a full-precision teacher. Beyond quantizing the backbone, BITEMBED further trains output embeddings to support multiple storage precisions meeting different storage needs in various scenarios. Experiments on MMTEB (eng, v2) with Qwen3-0.6B and Gemma3-270M show that BITEMBED is largely comparable to full precision teacher embedders. Moreover, BITEMBED flexibly obtains text embeddings of various precisions, achieving a trade-off between performance and storage cost.