BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

📄 arXiv: 2607.00501v1 📥 PDF

作者: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

分类: cs.CL, cs.AI, cs.PF

发布日期: 2026-07-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出BaseRT以提升Apple Silicon上LLM推理性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理优化 Apple Silicon Metal框架 边缘推理 性能提升 量化技术

📋 核心要点

  1. 现有的推理运行时未能充分利用Apple Silicon的硬件特性，导致性能低下。
  2. BaseRT通过原生Metal构建，利用芯片特定的优化和内存管理，显著提升推理性能。
  3. 实验结果显示，BaseRT在多个模型上实现了显著的吞吐量提升，尤其在大规模参数模型中表现优异。

📝 摘要（中文）

我们提出了BaseRT，这是一个针对Apple Silicon的原生Metal推理运行时，报告了该硬件上迄今为止最高的推理吞吐量。现有的运行时，如llama.cpp和基于MLX的框架，由于未针对Metal的执行模型或Apple Silicon的统一内存拓扑设计，导致了性能损失。通过在Metal上原生构建，结合特定芯片的内核融合、统一内存优化和自定义调度逻辑，BaseRT恢复了框架方法所丢失的性能。BaseRT支持多种模型系列和八种量化格式（Q2至FP16），在所有Apple M系列设备上均可运行。我们在M3和M4 Pro设备上评估了Qwen3、Llama 3.2和Gemma 4系列的Q4和Q8量化，结果显示BaseRT的解码吞吐量比llama.cpp高出1.56倍，比MLX高出1.35倍，尤其在混合专家模型的预填充阶段表现更为突出。这些结果表明，Apple Silicon作为推理平台的能力超出了之前的报告，直接影响到新兴的边缘推理范式。

🔬 方法详解

问题定义：现有的推理运行时如llama.cpp和MLX框架未能针对Apple Silicon的特性进行优化，导致性能损失，尤其在处理大型语言模型时表现不佳。

核心思路：BaseRT通过原生Metal实现，结合芯片特定的内核融合和统一内存优化，旨在最大化利用Apple Silicon的硬件能力，从而提升推理性能。

技术框架：BaseRT的整体架构包括原生Metal API调用、内核融合模块、统一内存管理和自定义调度逻辑，确保高效的资源利用和快速的模型推理。

关键创新：BaseRT的主要创新在于其原生构建和针对Metal的优化策略，与现有框架相比，减少了不必要的抽象层，直接与硬件交互，从而提升性能。

关键设计：在设计中，BaseRT支持多种量化格式（Q2至FP16），并在调度逻辑中引入了针对不同模型的优化策略，以适应不同的硬件配置和模型需求。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果表明，BaseRT在解码吞吐量上比llama.cpp高出1.56倍，比MLX高出1.35倍，尤其在混合专家模型的预填充阶段表现出更大的优势。这些数据表明BaseRT在处理从不足10亿到30亿参数模型时，均能保持最佳的推理性能。

🎯 应用场景

BaseRT的研究成果在边缘推理场景中具有重要应用价值，尤其是在隐私要求、延迟限制和云成本压力日益增加的背景下，能够支持高效的本地推理部署。随着更多应用向设备端迁移，BaseRT将为智能设备提供更强大的推理能力。

📄 摘要（原文）

We present BaseRT, a native Metal inference runtime for large language models (LLMs) on Apple Silicon, and report the highest inference throughput on this hardware to date. Existing runtimes, including llama.cpp and MLX-based frameworks, incur overhead from abstractions not designed for Metal's execution model or Apple Silicon's unified memory topology. By building natively on Metal with chip-specific kernel fusion, unified memory-aware optimisation, and custom dispatch logic, BaseRT recovers performance that framework-based approaches leave on the table. BaseRT supports a wide range of model families across eight quantisation formats (Q2 to FP16) on all Apple M-series devices. In this paper, we evaluate the Qwen3, Llama 3.2, and Gemma 4 families at Q4 and Q8 quantisation on M3 and M4 Pro devices. BaseRT achieves up to 1.56x higher decode throughput than llama.cpp and up to 1.35x higher than MLX, with substantially larger margins on prefill for mixture-of-experts models, delivering consistent best-in-class throughput from sub-1B to 30B parameter models. These results establish Apple Silicon as a more capable inference platform than previously reported, with direct implications for the emerging edge inference paradigm: as privacy requirements, latency constraints, and cloud cost pressures drive inference toward on-device deployment, performance-optimised local runtimes are a critical enabling layer for this transition. BaseRT is publicly available at https://github.com/basecompute/baseRT