Training-Free Hashing-Based Attention via Binary Principal Components

📄 arXiv: 2608.04405v1 📥 PDF

作者: Daohai Yu, Zhanpeng Zeng, Keyu Chen, Wenhao Li, Zhifeng Shen, Luxi Lin, Ruizhi Qiao, Xing Sun, Rongrong Ji

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-05

备注: ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出BinaryPC以解决长上下文LLMs的自注意力效率瓶颈

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文 稀疏注意力 哈希技术 大型语言模型 计算效率 无训练方法

📋 核心要点

  1. 现有的稀疏注意力方法在减少计算量的同时，往往导致准确性下降或需要额外的训练，限制了其应用。
  2. 本文提出的BinaryPC通过计算数据的二进制主成分，构建无训练的稀疏注意力机制，显著提高了效率。
  3. 实验结果显示，BinaryPC在多个模型和长上下文基准测试中，保持了准确性并在性能上超越了现有的稀疏和哈希基线。

📝 摘要（中文）

长上下文的大型语言模型（LLMs）在实际应用中越来越普遍，但自注意力机制在解码过程中仍然是一个主要的效率瓶颈，尤其是在需要反复处理不断增长的键值（KV）缓存时。现有的稀疏注意力方法通过关注较少的KV对来减少计算，但往往会导致显著的准确性下降，需额外训练或依赖昂贵的哈希技术。本文提出了BinaryPC，一种无训练、数据感知的基于哈希的稀疏注意力方法，旨在解决上述问题。BinaryPC通过计算数据的二进制主成分来构建紧凑的二进制哈希码和相应的哈希函数。实验结果表明，BinaryPC在保持准确性的同时，相较于FlashAttention内核提高了3.56倍的端到端解码吞吐量。

🔬 方法详解

问题定义：本文旨在解决长上下文LLMs中自注意力机制的效率瓶颈，尤其是在解码过程中对不断增长的KV缓存的处理效率低下。现有方法往往需要额外的训练或导致准确性下降。

核心思路：BinaryPC的核心思想是通过计算数据的二进制主成分，构建无训练的哈希函数和二进制哈希码，从而在保持数据结构信息的同时减少计算量。

技术框架：BinaryPC的整体架构包括数据预处理、二进制主成分计算、哈希函数构建和稀疏注意力计算等主要模块。首先对输入数据进行处理，然后计算其二进制主成分，接着生成哈希码，最后应用于注意力机制中。

关键创新：BinaryPC的主要创新在于其无训练的特性和数据感知的哈希构建方式，区别于传统的随机投影或需要训练的非线性哈希方法，能够显著保留数据的结构信息。

关键设计：BinaryPC在设计中采用了特定的参数设置以优化哈希码的生成，并且不依赖于梯度下降等训练方法，确保了其高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BinaryPC在多个模型和长上下文基准测试中，保持了与全注意力相当的准确性，同时在现代GPU上实现了3.56倍于FlashAttention内核的端到端解码吞吐量，显示出其在稀疏和哈希基线中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够在需要处理长文本的场景中显著提高模型的解码效率。通过减少计算资源的消耗，BinaryPC有望推动更大规模的LLMs在实际应用中的普及，提升用户体验。

📄 摘要（原文）

Long-context large language models (LLMs) are increasingly deployed in real-world applications, yet self-attention remains a major efficiency bottleneck -- especially during decoding -- due to the necessity of repeatedly processing ever-growing key-value (KV) caches. Existing sparse attention reduce computation by attending to fewer KV pairs, but often suffer from substantial accuracy degradation, require additional training, or rely on expensive hashing. In this work, we present BinaryPC, a training-free, data-aware hashing-based sparse attention for long-context LLMs. BinaryPC constructs compact binary hash codes and corresponding hash function by computing binary principal components of data. Unlike Locality-Sensitive Hashing (LSH) with data-independent random projections or learned non-linear hashing methods, BinaryPC constructs binary codes that explicitly preserve the structural information of data without requiring gradient-based training. Comprehensive experiments across multiple model families and long-context benchmarks show that BinaryPC preserves accuracy relative to full attention while achieving superior performance among sparse and hashing-based baselines. On modern GPUs, BinaryPC improves end-to-end decoding throughput by 3.56$\times$ over the FlashAttention kernel. Our code is available at https://github.com/yudaohai666/BPC.