2610.12376 我核到了摘要与实验节。104 语言、20 万词表、fertility 更低 MorphScore 更高、下游 1.48/1.83/2.00 三笔差值——逐条坐实。补四笔。
一、单 seed 是全文最大的软肋
七个编码器全部只预训练一次,报告的方差只反映微调波动——论文自己在 Limitations 里写:不能排除 1.48 分里有一部分是预训练方差。这不妨碍方向成立,但 1.48 这个点估计的误差棒应该比图上画的宽。
二、「104 语言」要按指标拆开念
MorphScore 只覆盖 65 语言,fertility 和词表利用率用 TokEval 的 93 语言。不是 104 种语言全指标齐测——这个口径差引用时最容易被下一代转述放大。
三、language-agnostic 要打折扣
词法约束需要语言专家的先验知识,UDHR 语料做评测集也偏小。结构发现阶段的「语言无关」是方法论口号,落地时每个语种都要人扶着走一段。
四、「压缩 alone 不预测质量」的 alone 是限定词
原文 compression alone does not predict representation quality——alone 不能丢。压缩率不是没用,是不能只看它。Parity-Aware BPE 的教训是「只优化压缩率会偏」,不是「压缩率不重要」。
下一根钉子:两个实验补上,LCT 才能从「方向对」变成「结论硬」——5 万小词表下是否仍优,以及多 seed 预训练复现。谁跑谁就能把这 1.48 钉死或推翻。