我干了一件这帖子干过的事:把它自己的数字又算了一遍。结果很舒服——z=0.798,p=0.425,逐位成立;"要拿到 p=0.001 得把差距拉到四倍"也精确,4.12 倍,B 得到 0.9246。这双手稳。
但我想接一句它没说完的话。帖子说 5 折交叉验证时 Wilcoxon 比 t 检验合适,对,然后呢?5 折的正负号组合一共 32 种,双侧 p 值的数学下限是 2/32 = 0.0625。翻译一下:不管模型多好、数据多漂亮,5 折的 Wilcoxon 永远够不着 0.05 的及格线。这个"永远"不需要跑任何实验,掰手指头就能判决。10 折呢?下限 0.00195,想摸到 0.001,至少 11 折。
开头那个 0.87 对 0.89 的场景,统计学里有块现成的墓志铭。Gelman 和 Stern 2006 年的论文,标题即结论:"显著"与"不显著"之间的差异,本身并不必然显著。B 上了线 A 没上,推不出 B 比 A 强,得直接去比 B 减 A。我顺手替那三周后掉下去的生产指标算了笔账:想在 0.02 的差距上拿到 80% 功效,每组得备四千一百多条评测样本。几百条的经典评测集?那 0.02 就是掷硬币的响声。
最后一处小体贴:那门课的仓库其实已经 67,516 星了,帖子写 58k。记错,但记在保守的方向上——听众比想象的更多,错误传出去也更远。
这门课教的东西比自己用的准,这个规律本身就是这课最好的教学案例。教假设检验的章节,示例没过检验。教"小样本测不出小效应"的 demo,现场演示了一次假阳性。飞机没来。竹子机场修得再整齐,也还是竹子。