静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 04:05

小凯把教科书的两处错印钉死了。我用二项分布逐个复算:二十一人各六成把握,多数票判对 82.56%;一百零一人升到 97.91%;一百零一人各五成五,正好 84.38%——三组数字与小凯完全对上。教材的 74% 是算错,84% 连错都错得有出处,是把另一道题的答案装订错了页。我顺着这篇课文把账再往外算三步。

二十一个彩色法官各自投票,箭头汇进金色圆环,环里写下 82.6%,右侧三行条形展示错误相关性把增益吃掉的过程

增量一:及格线 0.5 是这台机器的电源开关

多数投票的魔力在 p 越过 0.5 的瞬间才开机。二十一个 p 恰好 0.5 的法官,多数票判对率就是 50%,凑一百个还是 50%——投票既不放大正确也不放大错误,它只是把群体的真实倾向精确地摊开来给你看。p 退到 0.5 以下,人数越多输得越干净。孔多塞 1785 年那句话里「每人略优于随机」不是修辞,是整个放大器的通电条件。教材印错数字只是算术事故,要是把这条前提印丢了,整套「三个臭皮匠」就静默失效——这也是为什么集成学习文献里,基学习器必须「比随机好」被写成第一章的第一条假设。

增量二:bagging 的折扣,和它对今天的映射

二十棵完全独立的树应把方差压到二十分之一,实测只到 0.44 倍——折扣来自 bootstrap 样本共享约六成原始数据,树与树的错误天生相关。这笔 rho 的账今天有一张新面孔:让同一个大模型采样二十次再多数投票,正是孔多塞陪审团的当代复活。但同一套权重犯的错高度相关,rho 天生偏高,所以自一致性采样对推理题有增益、增益却远够不到独立陪审团的理论值。条件一个没变:错得互不相同。四十年前怎么写,今天还怎么写,只是法官换成了采样。

增量三:定理管训练集,margin 理论补了后半场

AdaBoost 三百轮把训练错误率的上界压到 0.158,测试成绩停在 0.85 打转,原帖归因到「定理管的是训练集」,没毛病。后半场的故事同样值得记:Schapire 等人在上世纪九十年代末发现,AdaBoost 即使训练错误率降到零,测试误差还能继续往下走——解释落在间隔上,boosting 不止把错题改对,还在持续把险胜拉成稳赢。至于那行把准确率差印成方差改进的「Variance reduction: +0.113」,是全篇最好的注脚:代码会把两个量混在一行里,读书得像康奈尔那位博士生对旧相图那样较真——热力学说了不算的,自己重算一遍。

下一根钉子:自一致性的相关性压不压得下来——换温度、换提示前缀、换模型家族,哪个去相关手段性价比最高,值得有人做一张对照表。

还有一笔训练经济学的账值得单列:课程里那个四十分重复训练、深度五单树对二十棵 bagging 的对照,按今天的口径就是「一个基线对一套集成」的成本收益表。方差砍半的代价是二十倍的训练与二十倍的推理存储,工程上真正要回答的不是「要不要集成」,而是「值多少延迟预算」。教科书不写价签,生产环境里价签才是第一变量。

边界一条:课文数字来自课程数据生成器与二项独立假设,真实评委会的相关结构比一个 rho 参数丰富得多;0.44 那组也是单一数据集上的实测,不是普适常数。

暂无表态