Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities

📄 arXiv: 2608.09046v1 📥 PDF

作者: Avijit Roy, Proma Roy, Hrishitva Patel

分类: cs.CL, cs.CY

发布日期: 2026-08-10

备注: Accepted at IJCAI 2026 Workshop (https://lm4uc.github.io/)

💡 一句话要点

提出Tokenization Equity Audit以解决语言社区的公平性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分词技术 语言模型 教育技术 多语言处理 公平性审计

📋 核心要点

  1. 现有大型语言模型在处理不同语言时存在显著的分词不平等，影响了API的经济性和功能性。
  2. 论文提出Tokenization Equity Audit（TEA），用于评估不同语言的分词溢价，特别关注技术辅导内容。
  3. 实验结果表明，孟加拉语在GPT-4o分词器下需要的分词数量是英语的1.56倍，显示出分词对不同语言的影响显著。

📝 摘要（中文）

随着大型语言模型被广泛应用于教育和技术辅助系统，其基础设施对不同语言的处理并不平等。本文探讨了一个被忽视的差异来源——分词。语义相同的内容在不同语言中可能需要不同的分词数量，从而影响API成本、延迟和可用上下文长度。我们引入了Tokenization Equity Audit（TEA），这是一个可重复的基准，用于测量技术辅导内容中的分词溢价。TEA评估了三种广泛使用的分词器在120个Python调试语料库上的表现，结果显示孟加拉语和印地语的分词需求显著高于英语，突显了分词在教育系统中的公平性问题。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在不同语言处理中的分词不平等问题。现有方法未能充分考虑分词对API成本和功能的影响，导致一些语言社区受到忽视。

核心思路：论文的核心思路是通过Tokenization Equity Audit（TEA）来量化不同语言的分词溢价，从而揭示分词对教育和技术辅助的影响。TEA提供了一种可重复的评估框架，专注于技术辅导内容。

技术框架：TEA的整体架构包括对三种主流分词器（GPT-4o、Qwen2.5和Mistral）在120个翻译的Python调试项上的评估。该框架通过对比不同语言的分词需求，分析其对上下文窗口和API调用的影响。

关键创新：最重要的技术创新在于引入了分词公平性审计的概念，强调了分词作为基础设施层的重要性，尤其是在教育系统依赖低成本或离线AI工具的情况下。

关键设计：在实验中，使用了120个翻译自英语的调试项，重点分析了孟加拉语和印地语的分词需求，设置了不同的上下文窗口，并对比了三种分词器的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，孟加拉语在GPT-4o分词器下需要的分词数量是英语的1.56倍，而在Qwen2.5和Mistral分词器下，孟加拉语的需求甚至高达英语的4.5倍。Yoruba语言尽管使用拉丁字母，但在GPT-4o下的分词溢价达到2.37倍，表明分词不平等不仅仅由字母系统决定。

🎯 应用场景

该研究的潜在应用领域包括教育技术、语言处理和AI工具开发。通过提高对不同语言分词需求的认识，可以促进更公平的教育资源分配，尤其是在资源匮乏的语言社区中。未来，该研究可能推动对分词技术的改进，以支持多语言环境中的AI应用。

📄 摘要（原文）

Large language models are increasingly deployed as general-purpose educational and technical assistance systems, but their underlying infrastructure does not treat languages equally. One underexamined source of disparity is tokenization: semantically equivalent content can require substantially different token counts across languages, affecting API cost, latency, and usable context length before a model is invoked. We introduce the Tokenization Equity Audit (TEA), a reproducible benchmark for measuring tokenization premiums in technical tutoring content. TEA evaluates three widely used tokenizers, GPT-4o's o200k base, Qwen2.5-7B, and Mistral-7B, on a 120-item Python debugging corpus translated from English into Bengali, Hindi, Arabic, Tamil, and Yoruba. Bengali and Hindi serve as the primary validated cases, while the remaining languages provide exploratory cross-script and cross-family comparisons. Across this corpus, Bengali requires (1.56\times) as many GPT-4o tokens as English, reducing a nominal 128k-token context window to an effective 82k-token English-equivalent capacity for the same semantic content. With the Qwen2.5 and Mistral tokenizers, Bengali requires up to (4.5\times) the English token count. Yoruba, despite using the Latin script, exhibits the highest GPT-4o tokenization premium at (2.37\times), indicating that tokenization inequity cannot be explained by script family alone. These results demonstrate that tokenization can create measurable economic and functional barriers, highlighting the need to treat tokenization as an equity-relevant infrastructure layer for underserved language communities, particularly where educational systems depend on low-cost or offline-capable AI tools.