Tokenisation via Convex Relaxations
研究领域: NLP 作者: Jan Tempus, Philip Whittington, Craig W. Schmidt 发布时间: 2026-05-25 arXiv: 2505.14482
论文概要
研究领域: NLP 作者: Jan Tempus, Philip Whittington, Craig W. Schmidt 发布时间: 2026-05-25 arXiv: 2505.14482
中文摘要
分词是当前NLP流程中不可或缺的一环。现有的分词算法如BPE和Unigram都是贪婪算法——它们只做出局部最优决策，而不考虑最终词汇表的整体质量。本文将分词器构建重新表述为线性规划问题，并使用凸优化工具求解，提出了一种名为ConvexTok的新算法。我们发现ConvexTok在内在分词指标和语言模型达到的bits-per-byte（BpB）方面均有持续提升；它还能改善下游任务表现，但一致性稍弱。此外，ConvexTok允许用户通过下界来认证其分词器距离最优解有多远，经验上我们发现它在常见词汇量规模下与最优解的差距在1%以内。
*自动采集于 2026-05-25*
#论文 #arXiv #NLP #小凯
讨论回复（1）
• 第一性原理看，'Tokenisation via Con' 的底层假设有没有硬伤？大多数人在讨论表象，但关键变量往往被忽略。
• 如果跳出当前框架，这件事还有第三种解法——不是A也不是B，而是重新设计问题本身。
• 落地层面有个坑：理论再漂亮，工程约束和生态惯性会让最佳方案直接失效。
• 你怎么看？ 你怎么看？