📐 先说核账结果
arXiv:2610.12466v1，Nguyen & Fithian，UC Berkeley 统计系。228 任务、79 任务族、26 个AI、29% 专家估值、独立假设预期60% 一致 vs 实测 83%、12 个 proper scoring rule × 3 种权重 × 5 折按任务族分折——正文里这些数我一个一个回去对，全部命中。83% 那道裂缝尤其准，论文原话就是"we would predict that ~60% of vectors were unanimous. However, it is actually 83%"。
这一篇的功课做得扎实。但有三处读法要拧，其中一处我觉得帖子是故意不写的。
一、"刻度不准，不等于曲线是骗局"——这句话只说了一半
帖子的收尾立场是：方向可信，指数形态没被质疑，"本文不质疑指数的存在，审计的是指数的单位"。这句话本身没错，但它替论文挡掉了另一句。
论文 §3 附录前那段原话：
> "Our fits substantially change the 50% time horizon estimates for these AIs, some of which go outside the original METR plot's 95% confidence intervals."
有些 AI 的新估计值，掉出了 METR 原图自己的 95% 置信区间。
这句话和"读法要打折"不是一个量级。"翻倍"这个词在2–30 分钟区间里含义变弱，这是解释学问题；而点估计本身跑到原置信区间外面去了，这是测量学问题——意味着原图的误差棒低估了自己的不确定度，那个区间里原图画的点可能是错的。
帖子花了一整节论证"刻度不准≠曲线是骗局"，逻辑上很稳，但它没注意到论文顺手把原图的置信区间也修了。要么把这句写进来（那"结论三：看单次数字不如看整条曲线"才真正有分量），要么读者会以为原图的点估计都是稳的。
二、平坦区的成因，帖子只说了一半
帖子把2–30 分钟的平坦区归到"尺子不均匀"，讲得很好。但论文 Appendix Figure 9 那段给了一个更锋利的解释：
> "a large amount of the gain in the metrics was due to improvement in estimates for AIs with time horizons of 2–15 min, such as these six, which were most affected by the flat region"
新模型横扫 12 项指标，好大一部分收益集中在时间范围只有 2–15 分钟的那批早期 AI 上——而这批 AI 恰好整体住在平坦区里。
这就把因果链闭上了：平坦区不是一个孤立的测量瑕疵，它同时压扁了早期 AI 的点估计（早期 AI 全挤在 2–15 分钟，这个区间里"时间范围翻倍"几乎不携带难度信息，于是所有早期模型的时间范围都被估得偏高且彼此拉不开）。论文这句话只说"a large amount of"，没给比例——这个比例是本篇最值得追的一个数。如果12 项指标的收益里有一半以上只来自早期 AI，那"新模型全面更好"这个结论在当代模型（时间范围超过 30 分钟的那批）上其实是未验证的。
顺带说一个模型设定上的硬细节，方便读者自己算：f 是单调自然三次 I-spline，4 个内部节点，且 26 个 AI 共享同一条 f。论文自己解释过为什么共享——METR 自己的 Kwa (2026) 也试过样条，但用的是分离样条（每个 AI 各弯各的），没跑赢。这个细节值得记，因为它是全文最容易被引用方抹掉的一步：共享形状是一个强假设，它假设"人类时间→AI 难度"的换算表对所有 AI 都一样。这假设若不成立，f 就不是换算表而是 26 条折线的平均。
三、参考文献 10 条里 9 条标题是编的
这条得先说，因为它是本篇最硬的一处。帖子列了 10 条参考文献，除第1 条（Nguyen & Fithian本论文）之外，其余 9 条的标题与arXiv 论文自己的 References 没有一条对得上，作者名首字母也错了：
- 帖子写「Barry, J. (2026). Shared-slope logistic model for METR time horizons」→ 论文原文是 Alexander Barry. _Impact of modelling assumptions on time horizon results_. METR Blog, March 2026
- 帖子写「Kwa, J. (2026). Spline approaches to time horizon estimation」→ 真标题是 Thomas Kwa. _Clarifying limitations of time horizon_，讲的是别的事
- 帖子写「Ho, et al. (2025). Epoch Capabilities Index」→ 真标题是 _A Rosetta Stone for AI Benchmarks_。「Epoch Capabilities Index」只是论文正文里对它的称呼（
the Epoch Capabilities Index [Ho et al., 2025]），当参考文献条目标题写就是错的 - Moss 是 Jonas 不是 R.，Witkin 是 Nathan 不是 A.，Kwa 是 Thomas 不是 J.，Kwa & Cheng 第二位是 Vincent 不是 K.
- shash42 那条真标题是《How to game the METR plot》，不是「Criticisms of METR's time horizon methodology」
四、三处限定词脱落，其中一处把点估计读成了统计结论
第一，「全部 12 个指标上击败 baseline，不是险胜，是横扫」要加限定。 论文原话是「the point estimates for our methods dominate the baseline on all metrics」，Figure 2 的图注又重复了一遍「Point estimates for both of our models dominate the baseline at every displayed metric and weighting」——而且这张图画了以 n=79 个任务族为单位的 80% 与 95% 两条置信带。论文从没说过 12 条带子全部不过零。 Figure 8 里论文还直说逐 AI 的区间「most individual-AI intervals remain too wide to separate from zero」，只有汇总比较（Figure 2）才是证据累积的地方。帖子的「几乎无处可逃——十二扇窗户看出去是同一座山」，把点估计占优读成了统计结论。
第二，「分离样条」那个诊断，论文写的是 likely。 原话：this was likely because they were separate splines, rather than shared. 帖子写成「本文作者的诊断是：他们用的是分离样条；换成共享一条形状，信号才浮出来」——「可能」被删成确诊，后半句「信号才浮出来」论文没写。
第三，「成功概率的变化『相当小』」把相对判断读成了绝对判断。 论文原句是 This figure suggests that a time horizon jump from 4 min to 15 min may be quite small indeed，suggests 和 may 两个限定词都掉了。更要紧的是论文的比较对象是 compared to other jumps——「4→15 分钟这一跳，在所有条件概率上的差别比其他跳变小」，不是「这一跳本身小」。帖子加了中文引号当直接引语，但论文没有「相当小」这个说法。
五、83% vs 60%：这道裂缝的方向对了，但还差一步
帖子讲这道裂缝讲得好——"它们不是一筐独立硬币，是一串穿在一起的铜钱"。补一个数让读者自己感受：83% 相对 60% 是超出 38.3%，而不是"高了 23 个百分点"这么朴素。论文用 beta-binomial 里的相关参数 ρ 兜这个过散（overdispersion），本质是承认同任务的多次运行不是独立同分布。
但有个后果帖子没往下推：ρ > 0 意味着"五成把握"这个 50% 阈值本身的置信区间被压窄了。同一个模型同一批任务，如果运行之间高度相关，那么"它大概率为 50%"这句话携带的信息量比独立假设下更少。论文的 ρ 是给相关性兜底的，不是给精度兜底的——相关性的存在会同时让点估计更不稳、让"50%"这个数字更糊，而帖子只讲了前半。
收口：下一根钉子
论文自己给的建议是对的：读时间范围要配诊断图。具体到可检验的一步——把 f 在 2–30 分钟区间人为接上一段线性，再重跑一遍。 如果接法不同（比如硬接 vs 平滑过渡）得到的 f 形状差异很大，那"平坦区到底是数据的性质还是样条基的选择"这一条就分不出来；如果形状稳定，那平坦区就是真结构，可以放心当作尺子缺陷长期引用。
再往一层：这个 f 只有 4 个内部节点，且是单调约束下的 I-spline。单调性本身就是一个假设——论文明确说"constrains one thing: no going backwards"。真实难度对人类时间的关系在中间有没有非单调的凹陷（比如"整理仓库"比"清理仓库"和"深度重构"都难），现有设计根本查不出来。这个是能用更松的基函数族直接检验的。