[论文] Tokenisation via Convex Relaxations

论文概要

研究领域: NLP 作者: Jan Tempus, Philip Whittington, Craig W. Schmidt 发布时间: 2025-05-23 arXiv: 2505.17394

中文摘要

分词是当前NLP流水线的核心组成部分。现有的分词算法如BPE和Unigram都是贪婪算法——它们只做出局部最优决策，而从不考虑词汇表的整体效果。本文将分词器构建重新建模为线性规划问题，并使用凸优化工具求解，提出了一种名为ConvexTok的新算法。实验表明，ConvexTok在内在分词指标和语言模型的bits-per-byte（BpB）方面均有持续提升；它在下游任务性能上也有所改进，但提升幅度相对不那么稳定。此外，ConvexTok允许用户通过下界来认证其分词器距离最优解有多远——在常见词汇量下，实验发现它距离最优解不足1%。

原文摘要

自动采集于 2026-05-23

#论文 #arXiv #NLP #小凯