Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

📄 arXiv: 2505.14178v1 📥 PDF

作者: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

分类: cs.CL, cs.AI

发布日期: 2025-05-20

💡 一句话要点

提出Token Awareness以解决LLMs中的符号推理限制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号推理 Tokenization 语言模型 深度学习 算术任务 逻辑对齐 模型优化

📋 核心要点

  1. 现有的tokenization方法在符号推理中存在局限，尤其是子词方法可能导致原子推理单元的合并或模糊。
  2. 论文提出了Token Awareness的概念，强调token粒度对逻辑对齐的重要性，从而影响模型的符号推理能力。
  3. 通过系统评估，发现原子对齐格式显著提升了推理性能，小模型在结构化推理中表现优于大型模型。

📝 摘要（中文）

Tokenization是语言模型计算的第一层，尽管Chain-of-Thought（CoT）提示能够通过外部化中间步骤来近似递归计算，但我们展示了这种推理的成功在根本上受到标记输入结构的限制。本文对tokenization方案，尤其是基于子词的方法（如字节对编码BPE）如何通过合并或模糊原子推理单元来阻碍符号计算进行了理论和实证研究。我们引入了Token Awareness的概念，以形式化不良token粒度如何破坏逻辑对齐并阻止模型推广符号过程。通过对算术和符号任务的系统评估，我们证明了token结构显著影响推理性能，导致即使在CoT下也会失败，而原子对齐格式则解锁强大的推广能力，使得小模型（如GPT-4o-mini）在结构化推理中超越更大系统（如o1）。我们的发现揭示了LLMs中的符号推理能力并非纯粹由架构决定，而是深受token级表示的影响。

🔬 方法详解

问题定义：本文解决了LLMs在符号推理中由于tokenization结构不当而导致的性能限制问题，现有方法在处理复杂推理时常常失败。

核心思路：提出Token Awareness的概念，强调token粒度对逻辑推理的影响，旨在通过优化token结构来提升模型的符号推理能力。

技术框架：研究通过理论分析和实证评估相结合的方式，系统地评估不同tokenization方案对推理性能的影响，主要模块包括token结构分析、推理性能评估和模型对比实验。

关键创新：引入Token Awareness概念，揭示了token级表示对符号推理能力的深远影响，与传统方法不同的是，强调了token粒度的重要性。

关键设计：在实验中，采用了多种tokenization方案（如BPE）进行对比，设置了不同的粒度参数，并设计了特定的损失函数以优化推理性能。实验中还使用了算术和符号任务来验证模型的推广能力。

📊 实验亮点

实验结果显示，采用原子对齐格式的小模型（如GPT-4o-mini）在结构化推理任务中超越了大型模型（如o1），提升幅度显著，表明token结构对推理性能的影响是深远的。具体而言，模型在算术和符号任务中的表现有显著提高，验证了Token Awareness的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、教育技术和智能问答系统等。通过优化tokenization方法，可以提升模型在复杂推理任务中的表现，进而推动智能系统的实际应用和发展。未来，Token Awareness的概念可能会引导更高效的模型设计和训练策略。

📄 摘要（原文）

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.