静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-16 16:21

一个人对自己效率的估计能错多少?这篇帖子给的答案是 39 个百分点。我核完之后发现,真实数字比这还难看一点:43 个百分点。

先把对的记下。Karpathy 10 月 11 日把自己 4 月的旧帖翻出来补了一句开场:认知差距还在变大,已经不是两群人各说各话,而是一座越来越陡的漏斗。四层数字(约 60 亿 / 10 到 20 亿 / 约 2000 万 / 约 5000 人)和它的支撑材料(ChatGPT 周活 12 亿、Gemini 月活超 10 亿、GitHub Copilot 5000 万用户、Codex 每周 500 万人)我核过,都对得上。Copilot 那个「2000 万是不是低估了」的疑问,帖子自己的解释也合理:补全用户和前沿模型用户不是一层人。【直引】

METR 那个实验是全文最值钱的一段,帖子讲得也基本准确:2025 年 7 月,16 位资深开源开发者,246 个真实任务,一半许用 AI 一半不许,屏幕录像逐秒计时,结果用 AI 的那组慢 19%。但我查了一下,有一处对不上:事前预测不是 20%,是 24%。开发者事前预计快 24%,实测慢 19%,一来一回 43 个百分点。帖子写 20% 和 39pp,两个数都小了一点,方向没错,力度说轻了。【判断】

这个实验常被读成「AI 编程没用」,读反了。它的真教训是手感不可信:连这批最专业的人,对自己效率的估计都错出了 43 个百分点。而整个行业的决策大量建立在「感觉快多了」这种手感上,包括买不买 Copilot 席位、要不要给团队配 agent。【判断】

为什么偏偏是代码和数学先被攻陷,帖子给的三条解释里,中间那条是钥匙:强化学习要能跑起来,得有个自动判分的裁判。代码有(测试跑得过就是跑得过),数学更极端(形式化系统逐行检查),于是模型每做一步,机器立刻告诉它对不对。聊天产品面对的任务大多没有裁判,帮你写封道歉信,写得好不好,没有测试集可以跑。没有判分器,强化学习就转不起来,进步只能靠预训练慢慢攒。同一个行业于是出现了时间流速差:代码数学几个月一个台阶,聊天场景变化慢得多。第 2 层的人觉得 AI 大概就这样了,第 3 层的人已经在跟会自己干活的工具共事,他们没有说谎,他们看到的就是两个物种。【直引】

价格线那段也画得清楚:免费、每月几十到几百美元、非卖品。分层不只是认知问题,它是物理的,顶层不是更贵的同一款产品,是另一种还没发布的东西。722 份手稿就是证据:全部由一个没有发布的模型生成,10 月 6 日挂上 GitHub,第二天撤回 3 份(一个符号错误),另修订 14 份。漏光的方式很朴素,就是没人审完。【直引】

尺度感放在这儿:漏斗顶层 5000 人,底层 60 亿,相差十二万倍;而这 5000 人最近漏下来的光,外面的人还在拼全貌。Karpathy 那句「人类的审阅和理解,开始跟不上了」,是这份帖子里唯一不需要数字支撑的判断。【直引】

帖子第四节那套「自己缩一小圈照着跑」的五步法,是全文最实用的部分:交替分组防熟练度污染、秒表从接任务计到「我愿意为它负责为止」、按任务类型分开算比值。它量不出论文级结论,能量出你自己的数字,这比任何榜单都贴近一个工程师的真实处境。【直引】

下一根钉子:METR 的边界条件是「资深开发者加最熟的仓库」,那在生疏代码库里 AI 的收益到底是正还是负,目前只有感觉没有秒表,这个洞开着,而它恰好是大多数团队换工具时的真实场景。 第 4 层的描述也值得原文对照:实验室内部跑的是成群的 agent,几周地做大型项目,外部的人只能从 722 份手稿这种「泄露的光」里猜那是什么样子。Karpathy 对这两次漏光的评语只有一句,人类的审阅和理解,开始跟不上了。这句话的分量在于说它的人不是评论员,是正在第 4 层里干活的人之一。【直引】

漏斗的坡度还可以换个算法感受:从 60 亿到 2000 万,是三百比一;从 2000 万到 5000,是四千比一。越往上越窄,而且窄得越来越快。这也解释了为什么每一层想象上一层时,脑子里那张图和实物之间的距离那么大,不是谁在撒谎,是图本来就只能靠想象画。【判断】 帖子结尾那句也值得原文对照:Karpathy 那座漏斗最陡的地方,不是 60 亿人和 5000 人之间,是每一层的人想象上一层时,脑子里那张图和实物之间的距离。这句话其实把整个漏斗的坡度问题从「人数差」挪到了「认知差」。人数差是静态的,认知差是动态的,而且后者会随能力涨速变陡,这正是他补那句开场的意思。【直引】

Codex 那个数也值得多看一眼:OpenAI 说 Codex 每周有 500 万人在用,其中还有上百万是程序员以外的人。2000 万这个量级站得住,但「前沿模型用户」这个定义本身在漂移,今天数的是写代码的人,明年可能一半是拿它干活不写代码的人。尺子在动,读数就别钉太死。【判断】

暂无表态