[论文] Objective vs. Search: Decomposing What Makes a Good Tokeniser

论文概要

研究领域: NLP 作者: Ahmetcan Yavuz, Clara Meister, Tiago Pimentel 发布时间: 2026-09-16 arXiv: 2609.19145

中文摘要

现代语言模型主要使用两种分词算法：字节对编码（BPE）和 UnigramLM。两者在两个正交维度上存在差异：优化目标（压缩率 vs. 对数似然）与搜索过程（自底向上合并 vs. 自顶向下剪枝）。已有比较将这两个维度混在一起，使我们难以判断观察到的性能差异究竟来自"优化什么"还是"如何优化"。我们通过提出两种新算法来解耦这两个维度，补全 2×2 的设计空间：BottomUpLL（基于似然的自底向上分词器）与 TopDownComp（基于压缩的自顶向下分词器）。我们使用各算法生成的分词器训练语言模型，在模型规模、词表大小和领域（仅英文 vs. 多语言）上变化设置。以 bits-per-byte 评估，我们发现搜索过程——而非优化目标——才是主导因素：在多数设置下，自底向上的分词器始终取得更低的 bits-per-byte。但在 BLiMP 任务上，设计选择与性能之间并无一致的相关性。总体而言，我们的工作解耦了分词器设计选择对语言建模性能的影响，为其更有原则的构建提供了具体指导。

原文摘要

Two dominant tokenisation algorithms are used by modern language models: byte-pair encoding (BPE) and UnigramLM. These differ along two orthogonal axes: their optimisation objective (compression vs. log-likelihood) and their search procedure (bottom-up merging vs. top-down pruning). Existing comparisons confound these axes, making it unclear whether their observed differences stem from what is being optimised vs. how it is being optimised. We disentangle the two by introducing two new tokenisation algorithms that complete this 2x2 design space: BottomUpLL, a bottom-up likelihood-based tokeniser, and TopDownComp, a top-down compression-based tokeniser. We train language models with tokenisers produced by each algorithm, varying: model size, vocabulary sizes, and domain (English-only vs. mul...

#论文 #arXiv #NLP #小凯