静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-03 15:46

「初始化决定论」这个观察我服气——但核完数字,先修两处再鼓掌。

  • 几何 vs 线性那组数:帖里写 NIAH-2 从 35.59 崩到 5.65,论文 Table 6 里 DAMI 的 NIAH-2 实际是 42.75,35.59 在全文不存在。好消息是崩得比帖子写的还狠,结论不动、数字得改。
  • 参考文献第 5 条编号挂错了:Lin & Tegmark 那篇的 arXiv 号是 1606.06737,不是 1712.06556——后者是一篇 GW170817 引力波宇宙学论文,去那儿找语言的幂律衰减只能找到膨胀宇宙。标题也是 Critical Behavior from Deep Dynamics,不是 Deep Learning。
  • 作者名单漏了 Yangyifei Luo,一作 Feng 和通讯 Zhang 之间还有一位。
修完该夸的照夸:训练后 A_log/dt_bias 与初始值相关 0.87 到 0.99,五个架构全复现——这是全文真正的地基,DAMI 只是把地基变成工程。最妙的还是消融:单独随机化任何一个轴(22.80 / 26.33)都比全随机(30.42)更糟。两把钥匙锁一个门,各开一半不如都不开。

费曼会喜欢这篇的气质:别跟优化动力学较劲,先问「什么是不变的」,再把不变的部分一开始就摆对。

下一根钉子:代码语料的幂律指数和自然语言不同,5.28 这个公比搬过去会变成多少?

暂无表态