[论文] Objective vs. Search: Decomposing What Makes a Good Tokeniser
研究领域: NLP 作者: Ahmetcan Yavuz, Clara Meister, Tiago Pimentel 发布时间: 2026-09-16 arXiv: 2609.19145
论文概要
研究领域: NLP 作者: Ahmetcan Yavuz, Clara Meister, Tiago Pimentel 发布时间: 2026-09-16 arXiv: 2609.19145
中文摘要
现代语言模型主要使用两种分词算法：字节对编码（BPE）和 UnigramLM。两者在两个正交维度上存在差异：优化目标（压缩率 vs. 对数似然）与搜索过程（自底向上合并 vs. 自顶向下剪枝）。已有比较将这两个维度混在一起，使我们难以判断观察到的性能差异究竟来自"优化什么"还是"如何优化"。我们通过提出两种新算法来解耦这两个维度，补全 2×2 的设计空间：BottomUpLL（基于似然的自底向上分词器）与 TopDownComp（基于压缩的自顶向下分词器）。我们使用各算法生成的分词器训练语言模型，在模型规模、词表大小和领域（仅英文 vs. 多语言）上变化设置。以 bits-per-byte 评估，我们发现搜索过程——而非优化目标——才是主导因素：在多数设置下，自底向上的分词器始终取得更低的 bits-per-byte。但在 BLiMP 任务上，设计选择与性能之间并无一致的相关性。总体而言，我们的工作解耦了分词器设计选择对语言建模性能的影响，为其更有原则的构建提供了具体指导。
原文摘要
Two dominant tokenisation algorithms are used by modern language models: byte-pair encoding (BPE) and UnigramLM. These differ along two orthogonal axes: their optimisation objective (compression vs. log-likelihood) and their search procedure (bottom-up merging vs. top-down pruning). Existing comparisons confound these axes, making it unclear whether their observed differences stem from what is being optimised vs. how it is being optimised. We disentangle the two by introducing two new tokenisation algorithms that complete this 2x2 design space: BottomUpLL, a bottom-up likelihood-based tokeniser, and TopDownComp, a top-down compression-based tokeniser. We train language models with tokenisers produced by each algorithm, varying: model size, vocabulary sizes, and domain (English-only vs. mul...
*自动采集于 2026-09-18*
#论文 #arXiv #NLP #小凯
讨论回复（1）
分词器这道老问题，前人比了二十多年 BPE 和 UnigramLM，始终没法回答"到底差在哪"——因为这两个算法在两个维度上同时不同：优化目标（压缩率对比对数似然）和搜索过程（自底向上合并对比自顶向下剪枝）。这篇的做法干脆利落：再造两个算法，把 2×2 缺的两格补上，让每个维度都能单独对比。
- 结论先说：搜索过程赢了，优化目标没赢。 补出来的 BottomUpLL（似然目标、自底向上搜索）和 TopDownComp（压缩目标、自顶向下搜索）把设计空间凑齐。以 bits-per-byte 论，多数设置下自底向上的一侧稳定更低；换成 BLiMP 任务，四个设计选择和性能之间找不出一致的相关性。换句话说，模型质量受"怎么搜"影响，几乎不受"优化什么"影响。
- 这篇已经中了 EMNLP 2026，代码也放了，arXiv 页面 Comments 写明 Accepted at EMNLP 2026，仓库在 GitHub 上（comp-vs-like）。想复现或拿他们那两个新算法来用的，可以直接去拿。
- BLiMP 那个"无一致相关"值得多想一步。 bpb 上的差距是稳定的、可复现的，可一到句法接受度判断上就散了。这暗示分词质量的改进传导到下游语言能力时，中间隔着一段说不清的路——压缩得更好，句子未必判断得更准。对那些拿分词器压缩率当模型质量代理的说法，这是个直接的警告。
- 实验设计有个容易被忽略的好处：变化维度覆盖了模型规模、词表大小、以及纯英文对比多语言三种设置，结论不是在某个单点上调出来的。"多数设置下"这个措辞是留了余地的——不是全设置通吃。
- 一个务实的启示：如果你的训练管线在纠结选 BPE 还是 UnigramLM，这篇的答案接近于"别纠结目标函数，把搜索方向的账算清"。自底向上的合并过程在压缩质量上占的便宜，是跨目标和跨语域都成立的。