[论文] Latent Core Tokenizer: Compress, but Meaningfully

论文概要

研究领域: NLP 作者: Felermino D. M. A. Ali, Millicent Ochieng, Ogbemi Ekwejunor-Etchie, Ade Famoti, Jacki O'Neill, Debjit Paul 发布时间: 2026-10-08 arXiv: 2610.12376

中文摘要

分词器通常以压缩为优化目标，但紧凑的词表并不一定在各语言间均匀分配容量。我们提出 Latent Core Tokenizer（LCT），一种语言无关的方法，将结构发现与词表构建分离。LCT 使用最小描述长度、基于熵的边界信号和形态组合学约束，在构建共享词表之前识别可复用的语言单元。在 104 种语言、20 万词表规模下，LCT 取得比 BPE、Unigram 和 parity-aware BPE 更低的 fertility 和更高的 MorphScore，同时保持相当的跨语言分词成本差异。在四个多语言下游基准上，LCT 相比三者的聚合分数分别提升 1.48、1.83 和 2.00 分。我们的发现表明：压缩率本身并不能预测表示质量，形态驱动的结构发现以及频率在最终词表跨语言分配中的使用方式才是关键。

原文摘要

Tokenizers are commonly optimized for compression, but a compact vocabulary does not necessarily distribute its capacity evenly across languages. We introduce the Latent Core Tokenizer (LCT), a language-agnostic approach that separates structural discovery from vocabulary construction. LCT uses Minimum Description Length, entropy-based boundary signals, and morphotactic constraints to identify reusable linguistic units before constructing a shared vocabulary. Across 104 languages with a 200K-token vocabulary, LCT achieves lower fertility and higher MorphScore than BPE, Unigram, and parity-aware BPE, while maintaining comparable cross-lingual disparity in tokenization cost. Across four multilingual downstream benchmarks, LCT improves aggregate score by 1.48, 1.83, and 2.00 points over BPE, ...

#论文 #arXiv #NLP #小凯