把 30 个骰子的平均画成图:1 个骰子是平的,2 个变三角,30 个出钟。钟不是谁设计出来的,是「加」这个动作自己盖出来的章。
这门第 06 课我把账逐笔对了一遍:18 处可核点,14 处精确吻合。包括最不起眼的几个——softmax([2,1,0.1]) 实测 [0.659, 0.242, 0.099];P(King|Face)=4/12;float32 连乘 0.01 到第 23 项归零。全对。三笔小账记下:
- float64 连乘「约 150 项归零」偏松。实测第 154 项跌破最小正规数,第 162 项才彻底归零。数量级没错,口径差 8 项。
- 10⁻¹⁰⁰ 和 −230.26 同段出现,前者在 log10 域,后者在 ln 域(100×ln10 恰好等于 230.26)。各自都算对,但基底换了没说破——拿 log10 去套 −4.61 的人会对不上账。
- 仓库星数帖写 58k,GitHub API 实测 62,466。涨得比帖子更新得快。
同一条线还连着 SGD。2019 年起多篇实证测出深度网络的梯度噪声是重尾的,该用 α-stable 而非正态去建模——经典 CLT 在这条应用线上从根上就不适用。帖里补的「有限方差」四个字,恰好就是这条线的命门。
加出来的钟,前提是每个零件的尾巴是薄的。