Hawk: Harnessing Hardware-Aware Knowledge for High-Performance NPU Kernel Generation
作者: Junyi Wen, Ruiyan Zhuang, Yongjia Xu, Pengtu Li, Rui Zou, Hongyi Chen, Chingman Wan, Puxu Yang, Wuhui Chen, Yanlin Wang
分类: cs.AI, cs.SE
发布日期: 2026-07-02
💡 一句话要点
提出Hawk框架以解决NPU内核生成中的硬件约束问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 神经处理单元 内核生成 硬件感知 知识蒸馏 性能优化 深度学习 自动化编程
📋 核心要点
- 现有方法在NPU内核生成中面临硬件约束和内存层次结构的挑战，导致性能不稳定。
- Hawk框架通过运行时知识合成、瓶颈感知知识检索和效果驱动知识蒸馏三大模块，解决了硬件特定知识缺乏的问题。
- 在真实NPU工作负载上的评估显示，Hawk的生成准确率提升至80.0%，执行速度较现有基线提升最高达2.2倍。
📝 摘要（中文）
开发高性能的神经处理单元（NPU）内核是行业中的一个关键瓶颈，开发者需要手动处理隐含的硬件约束和严格的内存层次结构。尽管大型语言模型具有巨大的自动化潜力，但由于缺乏硬件特定的先验知识，它们在NPU上表现不佳。为了解决这一问题，本文提出了Hawk框架，通过三个核心模块来利用硬件感知知识：运行时知识合成模块、瓶颈感知知识检索模块和效果驱动知识蒸馏模块。实验证明，Hawk将生成准确率从49.4%提升至80.0%，并在执行速度上实现了最高2.2倍的提升。
🔬 方法详解
问题定义：本文旨在解决NPU内核生成中由于缺乏硬件特定知识而导致的性能下降和运行时崩溃问题。现有方法往往无法有效处理硬件约束，导致生成的代码在实际执行中出现错误。
核心思路：Hawk框架的核心思路是利用硬件感知知识，通过模块化设计来增强内核生成的准确性和性能。通过结合错误上下文和可执行语义，Hawk能够更好地适应NPU的硬件特性。
技术框架：Hawk框架包含三个主要模块：运行时知识合成模块，通过三元可执行知识表示将错误上下文与可执行语义耦合；瓶颈感知知识检索模块，采用二维检索范式将查询投影到正交的语法和硬件对齐的语义空间；效果驱动知识蒸馏模块，利用大型语言模型驱动的语义仲裁，持续蒸馏知识。
关键创新：Hawk的关键创新在于其训练无关的设计，通过硬件感知知识的有效利用，显著提升了NPU内核生成的准确性和执行效率。这与现有方法的盲目代码移植形成鲜明对比。
关键设计：Hawk在参数设置上进行了优化，采用了特定的损失函数来平衡生成准确性与执行速度。此外，模块之间的交互设计也经过精心调整，以确保知识的有效传递和利用。
🖼️ 关键图片
📊 实验亮点
Hawk在真实NPU工作负载上的实验结果显示，生成准确率从49.4%提升至80.0%，同时在执行速度上实现了最高2.2倍的提升。这些结果表明Hawk在NPU内核生成中的有效性和优越性，超越了现有的最先进基线。
🎯 应用场景
Hawk框架具有广泛的应用潜力，特别是在需要高性能计算的领域，如深度学习模型的优化、边缘计算设备的智能处理等。其高效的内核生成能力可以显著提升NPU的应用性能，推动智能硬件的发展。未来，Hawk可能在自动化编程和硬件设计领域产生深远影响。
📄 摘要（原文）
Developing high-performance kernels for Neural Processing Units (NPUs) is a critical industry bottleneck, requiring developers to manually navigate implicit hardware constraints and strict memory hierarchies. While large language models offer immense automation potential, they fail catastrophically on NPUs due to a fundamental lack of hardware-specific priors. Naively transplanting code snippets from similar NPU kernels may pass the compiler, but it consistently triggers runtime crashes and performance degradation by blindly violating underlying hardware constraints. To overcome this, we introduce Hawk, a training-free framework that harnesses hardware-aware knowledge through three core modules: (1) Run-Time Knowledge Synthesis Module, which employs a Triple-Part Executable Knowledge Representation to inherently couple the error context with executable semantics; (2) Bottleneck-Aware Knowledge Retrieval Module, which implements a 2D-Retrieval paradigm to project queries into orthogonal syntactic and hardware-aligned semantic spaces; and (3) Effect-Driven Knowledge Distillation Module, which leverages LLM-driven semantic arbitration to continuously distill the knowledge by pruning errors and consolidating redundancies based on the empirical execution feedback. Extensive evaluations on real-world NPU workloads demonstrate that Hawk elevates generation accuracy from 49.4% to 80.0%, while achieving up to a 2.2x execution speedup over state-of-the-art baselines.