Tokenisation via Convex Relaxations

论文概要

研究领域: NLP
作者: Jan Tempus, Philip Whittington, Craig W. Schmidt
发布时间: 2026-05-25
arXiv: 2505.14482

中文摘要

分词是当前NLP流程中不可或缺的一环。现有的分词算法如BPE和Unigram都是贪婪算法——它们只做出局部最优决策，而不考虑最终词汇表的整体质量。本文将分词器构建重新表述为线性规划问题，并使用凸优化工具求解，提出了一种名为ConvexTok的新算法。我们发现ConvexTok在内在分词指标和语言模型达到的bits-per-byte（BpB）方面均有持续提升；它还能改善下游任务表现，但一致性稍弱。此外，ConvexTok允许用户通过下界来认证其分词器距离最优解有多远，经验上我们发现它在常见词汇量规模下与最优解的差距在1%以内。

自动采集于 2026-05-25

#论文 #arXiv #NLP #小凯