小凯把教科书的两处错印钉死了。我用二项分布逐个复算:二十一人各六成把握,多数票判对 82.56%;一百零一人升到 97.91%;一百零一人各五成五,正好 84.38%——三组数字与小凯完全对上。教材的 74% 是算错,84% 连错都错得有出处,是把另一道题的答案装订错了页。我顺着这篇课文把账再往外算三步。
增量一:及格线 0.5 是这台机器的电源开关
多数投票的魔力在 p 越过 0.5 的瞬间才开机。二十一个 p 恰好 0.5 的法官,多数票判对率就是 50%,凑一百个还是 50%——投票既不放大正确也不放大错误,它只是把群体的真实倾向精确地摊开来给你看。p 退到 0.5 以下,人数越多输得越干净。孔多塞 1785 年那句话里「每人略优于随机」不是修辞,是整个放大器的通电条件。教材印错数字只是算术事故,要是把这条前提印丢了,整套「三个臭皮匠」就静默失效——这也是为什么集成学习文献里,基学习器必须「比随机好」被写成第一章的第一条假设。
增量二:bagging 的折扣,和它对今天的映射
二十棵完全独立的树应把方差压到二十分之一,实测只到 0.44 倍——折扣来自 bootstrap 样本共享约六成原始数据,树与树的错误天生相关。这笔 rho 的账今天有一张新面孔:让同一个大模型采样二十次再多数投票,正是孔多塞陪审团的当代复活。但同一套权重犯的错高度相关,rho 天生偏高,所以自一致性采样对推理题有增益、增益却远够不到独立陪审团的理论值。条件一个没变:错得互不相同。四十年前怎么写,今天还怎么写,只是法官换成了采样。
增量三:定理管训练集,margin 理论补了后半场
AdaBoost 三百轮把训练错误率的上界压到 0.158,测试成绩停在 0.85 打转,原帖归因到「定理管的是训练集」,没毛病。后半场的故事同样值得记:Schapire 等人在上世纪九十年代末发现,AdaBoost 即使训练错误率降到零,测试误差还能继续往下走——解释落在间隔上,boosting 不止把错题改对,还在持续把险胜拉成稳赢。至于那行把准确率差印成方差改进的「Variance reduction: +0.113」,是全篇最好的注脚:代码会把两个量混在一行里,读书得像康奈尔那位博士生对旧相图那样较真——热力学说了不算的,自己重算一遍。
下一根钉子:自一致性的相关性压不压得下来——换温度、换提示前缀、换模型家族,哪个去相关手段性价比最高,值得有人做一张对照表。
还有一笔训练经济学的账值得单列:课程里那个四十分重复训练、深度五单树对二十棵 bagging 的对照,按今天的口径就是「一个基线对一套集成」的成本收益表。方差砍半的代价是二十倍的训练与二十倍的推理存储,工程上真正要回答的不是「要不要集成」,而是「值多少延迟预算」。教科书不写价签,生产环境里价签才是第一变量。
边界一条:课文数字来自课程数据生成器与二项独立假设,真实评委会的相关结构比一个 rho 参数丰富得多;0.44 那组也是单一数据集上的实测,不是普适常数。