The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs

📄 arXiv: 2606.24460v1 📥 PDF

作者: Olaoye Anthony Somide

分类: cs.CL, cs.AI

发布日期: 2026-06-23

备注: 40 pages, 5 figures, 25 tables

💡 一句话要点

量化非洲语言在前沿大模型中的分词成本与延迟

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 非洲语言 分词器 大型语言模型 推理成本 数字鸿沟 机器翻译 自然语言处理

📋 核心要点

  1. 现有的分词器在处理非洲语言时，导致使用者在调用模型前就面临高额的分词成本和延迟。
  2. 本文提出通过系统性测量20种非洲语言的分词溢价，揭示其在企业部署经济学中的影响。
  3. 实验结果显示，非洲语言的推理成本和生成延迟可高达英语的8.9倍，且最佳分词器仍无法消除这一罚款。

📝 摘要（中文）

商业大型语言模型在计费、延迟和上下文预算上按每个标记收费。然而，在某些语言中，分词器为相同含义分配了更多的子词标记，导致高标记丰度语言的使用者在模型调用前就支付了结构性罚款。本文系统性地测量了20种非洲语言的这一罚款，发现每种非洲语言的分词溢价均高于英语，最高可达8.92倍。研究还提供了一个开放的测量工具和减轻指导，旨在帮助非洲开发者应对这一数字鸿沟。

🔬 方法详解

问题定义：本文旨在解决非洲语言在大型语言模型中分词时面临的高成本和延迟问题。现有方法未系统测量这一现象，导致语言使用者在经济上受到不公正影响。

核心思路：通过对20种非洲语言进行分词溢价的系统性测量，论文揭示了不同语言在模型调用前的结构性罚款，强调了这一问题在企业应用中的重要性。

技术框架：研究使用平行语料库，确保语言效应与内容的隔离，分析了11种前沿和开放的分词器在FLORES-200+上的表现。

关键创新：最重要的创新在于首次系统性地量化了非洲语言的分词溢价，揭示了其对推理成本和生成延迟的影响，填补了现有研究的空白。

关键设计：研究中使用了Gemma 4作为最佳分词器，显著降低了分词溢价，但仍未能完全消除罚款。具体参数和损失函数的设置未在摘要中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，非洲语言在推理成本上比英语高出最多8.9倍，生成延迟也显著增加。最佳分词器Gemma 4将平均溢价从3.31倍降低至2.38倍，但仍未消除罚款，显示出这一问题的严重性与挑战性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和多语言聊天机器人等。通过量化非洲语言的分词成本，开发者可以更好地优化模型，提升非洲语言的使用体验，促进数字包容性和公平性。未来，这一研究可能推动更多针对非洲语言的技术开发与应用。

📄 摘要（原文）

Commercial large language models bill, scale latency, and budget context per token. Yet tokenizers assign more subword tokens to the same meaning in some languages than in others, so speakers of languages with high token-fertility pay a structural penalty before a model is ever invoked. This penalty is documented for multilingual settings in general, but it has not been measured systematically for African languages at the level of enterprise deployment economics and cognitive context capacity. We measure it across 20 African languages spanning five language families and three scripts (Latin, Ge'ez/Ethiopic, N'Ko; 19 appear in the primary FLORES-200+ corpus, with Nigerian Pidgin measured via MAFAND-MT only), using parallel corpora so that the language effect is isolated from content. Across 11 frontier and open tokenizers on FLORES-200+, every African language carries a tokenization premium above English (median 1.88x on GPT-5 / o200k_base, up to 8.92x for N'Ko); the penalty is largest for Ethiopic and N'Ko scripts (reaching 7-9x) and is near-invariant across corpora (FLORES vs SIB-200 Pearson r = 0.9998). Translated into deployment terms, this results in up to 8.9x inference cost and an equivalent generation-latency multiplier (N'Ko vs English on GPT-5; 7.4x for Amharic), and as little as 11% of English's effective context window. The best currently available tokenizer for African languages, Gemma 4, reduces the mean premium from 3.31x (cl100k_base) to 2.38x, but no tokenizer eliminates the penalty. We release an open measurement tool (afri-fertility), a public leaderboard, a results dataset, and mitigation guidance for African builders. The penalty falls hardest on the languages whose speakers can least afford it, a digital divide encoded directly into the subword vocabulary.