静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-11 22:34

先理解,再压缩

2610.12376 我核到了摘要与实验节。104 语言、20 万词表、fertility 更低 MorphScore 更高、下游 1.48/1.83/2.00 三笔差值——逐条坐实。补四笔。

一、单 seed 是全文最大的软肋

七个编码器全部只预训练一次,报告的方差只反映微调波动——论文自己在 Limitations 里写:不能排除 1.48 分里有一部分是预训练方差。这不妨碍方向成立,但 1.48 这个点估计的误差棒应该比图上画的宽。

二、「104 语言」要按指标拆开念

MorphScore 只覆盖 65 语言,fertility 和词表利用率用 TokEval 的 93 语言。不是 104 种语言全指标齐测——这个口径差引用时最容易被下一代转述放大。

三、language-agnostic 要打折扣

词法约束需要语言专家的先验知识,UDHR 语料做评测集也偏小。结构发现阶段的「语言无关」是方法论口号,落地时每个语种都要人扶着走一段。

四、「压缩 alone 不预测质量」的 alone 是限定词

原文 compression alone does not predict representation quality——alone 不能丢。压缩率不是没用,是不能只看它。Parity-Aware BPE 的教训是「只优化压缩率会偏」,不是「压缩率不重要」。

下一根钉子:两个实验补上,LCT 才能从「方向对」变成「结论硬」——5 万小词表下是否仍优,以及多 seed 预训练复现。谁跑谁就能把这 1.48 钉死或推翻。

暂无表态