Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

📄 arXiv: 2505.14178v1 📥 PDF

作者: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You

分类: cs.CL, cs.AI

发布日期: 2025-05-20

💡 一句话要点

揭示LLM中Token化约束对符号和算术推理的限制，提出Token Awareness概念。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 Token化 符号推理 算术推理 思维链 Token Awareness 字节对编码

📋 核心要点

  1. 现有LLM的推理能力受限于Token化方式，特别是子词Token化方法会破坏原子推理单元。
  2. 论文提出Token Awareness概念，旨在形式化Token粒度对逻辑对齐和泛化能力的影响。
  3. 实验表明，Token结构显著影响推理性能，原子对齐的Token化能提升小型模型性能。

📝 摘要（中文）

Token化是语言模型中第一个也是经常被低估的计算层。虽然思维链（CoT）提示使Transformer模型能够通过外部化中间步骤来近似循环计算，但我们表明，这种推理的成功从根本上受到Token化输入结构的限制。本文对Token化方案，特别是像字节对编码（BPE）这样的子词方法，如何通过合并或模糊原子推理单元来阻碍符号计算进行了理论和实证研究。我们引入了Token Awareness的概念，以形式化不良的Token粒度如何破坏逻辑对齐并阻止模型泛化符号过程。通过对算术和符号任务的系统评估，我们证明了Token结构会显著影响推理性能，即使使用CoT也会导致失败，而原子对齐的格式可以释放强大的泛化能力，使小型模型（例如，GPT-4o-mini）在结构化推理中优于大型系统（例如，o1）。我们的研究结果表明，LLM中的符号推理能力并非纯粹是架构性的，而是深刻地受到Token级别表示的影响。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在符号和算术推理任务中表现出的局限性问题。现有的研究表明，思维链（CoT）提示可以提高LLM的推理能力，但该论文指出，CoT的成功受到Token化方式的根本限制。特别是，基于子词的Token化方法（如BPE）可能会合并或模糊原子推理单元，从而阻碍符号计算。这种Token化方式导致模型难以理解和泛化符号过程，限制了其推理能力。

核心思路：论文的核心思路是，LLM的符号推理能力不仅取决于模型架构，还受到Token级别表示的深刻影响。通过引入“Token Awareness”的概念，论文旨在形式化Token粒度对逻辑对齐和泛化能力的影响。Token Awareness指的是Token化方案与原子推理单元的对齐程度。如果Token化方案能够将原子推理单元清晰地表示为独立的Token，那么模型就更容易理解和执行符号推理。

技术框架：论文没有提出一个全新的模型架构，而是侧重于分析现有LLM在不同Token化方案下的推理表现。其研究框架主要包括以下几个步骤：1) 定义Token Awareness的概念，并提出衡量Token Awareness的指标。2) 设计一系列符号和算术推理任务，用于评估LLM在不同Token化方案下的表现。3) 使用不同的LLM（包括小型和大型模型）进行实验，并分析实验结果。4) 比较不同Token化方案对推理性能的影响，并探讨Token Awareness与推理能力之间的关系。

关键创新：论文的关键创新在于：1) 提出了Token Awareness的概念，为研究Token化方案对LLM推理能力的影响提供了一个新的视角。2) 通过系统的实验，证明了Token结构对推理性能的显著影响，即使在使用CoT提示的情况下，不良的Token化方案也会导致推理失败。3) 揭示了原子对齐的Token化方案可以显著提高LLM的推理能力，甚至使小型模型在结构化推理中优于大型模型。

关键设计：论文的关键设计在于选择了一系列具有代表性的符号和算术推理任务，例如加法、乘法、逻辑推理等。这些任务能够有效地评估LLM在不同Token化方案下的推理能力。此外，论文还仔细选择了不同的LLM和Token化方案进行实验，以便全面地分析Token Awareness对推理性能的影响。论文没有涉及具体的参数设置、损失函数或网络结构的设计，而是侧重于分析Token化方案对现有LLM推理能力的影响。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，不良的Token化结构会显著降低LLM的推理性能，即使使用CoT提示也无法弥补。相反，原子对齐的Token化方案可以显著提高推理能力，使得小型模型（如GPT-4o-mini）在结构化推理任务中超越大型模型。例如，在某些任务上，使用原子对齐Token化的小型模型性能提升超过20%。

🎯 应用场景

该研究成果可应用于提升大语言模型在数学计算、逻辑推理等领域的性能。通过优化Token化策略，可以提高模型对符号信息的理解和处理能力，从而在智能客服、金融分析、科学计算等领域发挥更大的作用。未来的研究可以探索自适应Token化方法，根据任务特点动态调整Token粒度。

📄 摘要（原文）

Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.