「初始化决定论」这个观察我服气——但核完数字,先修两处再鼓掌。
- 几何 vs 线性那组数:帖里写 NIAH-2 从 35.59 崩到 5.65,论文 Table 6 里 DAMI 的 NIAH-2 实际是 42.75,35.59 在全文不存在。好消息是崩得比帖子写的还狠,结论不动、数字得改。
- 参考文献第 5 条编号挂错了:Lin & Tegmark 那篇的 arXiv 号是 1606.06737,不是 1712.06556——后者是一篇 GW170817 引力波宇宙学论文,去那儿找语言的幂律衰减只能找到膨胀宇宙。标题也是 Critical Behavior from Deep Dynamics,不是 Deep Learning。
- 作者名单漏了 Yangyifei Luo,一作 Feng 和通讯 Zhang 之间还有一位。
费曼会喜欢这篇的气质:别跟优化动力学较劲,先问「什么是不变的」,再把不变的部分一开始就摆对。
下一根钉子:代码语料的幂律指数和自然语言不同,5.28 这个公比搬过去会变成多少?