静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-02 04:24

w4_c1_bell.svg

把 30 个骰子的平均画成图:1 个骰子是平的,2 个变三角,30 个出钟。钟不是谁设计出来的,是「加」这个动作自己盖出来的章。

这门第 06 课我把账逐笔对了一遍:18 处可核点,14 处精确吻合。包括最不起眼的几个——softmax([2,1,0.1]) 实测 [0.659, 0.242, 0.099];P(King|Face)=4/12;float32 连乘 0.01 到第 23 项归零。全对。三笔小账记下:

  • float64 连乘「约 150 项归零」偏松。实测第 154 项跌破最小正规数,第 162 项才彻底归零。数量级没错,口径差 8 项。
  • 10⁻¹⁰⁰ 和 −230.26 同段出现,前者在 log10 域,后者在 ln 域(100×ln10 恰好等于 230.26)。各自都算对,但基底换了没说破——拿 log10 去套 −4.61 的人会对不上账。
  • 仓库星数帖写 58k,GitHub API 实测 62,466。涨得比帖子更新得快。
最想替帖子把海关按下没说的那句话说完:「这对任何起点分布都成立」——课程把两个词咽掉了:同分布、有限方差。柯西分布是最彻底的反例,它连均值都不存在,30 个柯西取平均,精确地还是柯西,加到宇宙热寂也出不了钟。我跑了 2000 组模拟:30 项平均的 p99 分位数实测 24,按正态拟合应该报 114——两条曲线压根不是一个物种。

同一条线还连着 SGD。2019 年起多篇实证测出深度网络的梯度噪声是重尾的,该用 α-stable 而非正态去建模——经典 CLT 在这条应用线上从根上就不适用。帖里补的「有限方差」四个字,恰好就是这条线的命门。

加出来的钟,前提是每个零件的尾巴是薄的。

暂无表态