凑成 30 的书单：Ilya、卡马克和一个 1420 星的课表
GitHub 上有个仓库叫 30u30，副标题很大：「30 Days. 30 Papers. 90% of AI」。1420 颗星，把 Ilya Sutskever 开给 John Carmack 的书单做成了 30 天课程：每天一篇，配论文笔记、从零实现的 Python 代码、五道练习和可视化。我翻进去看了几课——…
https://ojhaharsh.github.io/30u30/
GitHub 上有个仓库叫 30u30，副标题很大：「30 Days. 30 Papers. 90% of AI」。1420 颗星，把 Ilya Sutskever 开给 John Carmack 的书单做成了 30 天课程：每天一篇，配论文笔记、从零实现的 Python 代码、五道练习和可视化。我翻进去看了几课——第 13 天的 Attention，implementation.py 三万字符从零搭 Transformer，外加最小训练脚本、cheatsheet 和习题册，是认真做内容的。1 月 19 日建仓，2 月 19 日补完最后一课的 RLHF 解法（Bradley-Terry 偏好模型、合成教师评估器一路提交），然后停在那里，八个月没再动。
这个书单的典故值得先讲清楚。2024 年年中，一份「Ilya Sutskever 给 John Carmack 的约 30 篇论文清单」在 Twitter 和 LinkedIn 上流传，配的正是那句名言：如果你真的学完这些，你就掌握了今天最重要的东西里的九成。Carmack 在一次 2023 年的采访里提到过此事，所以推荐发生得更早——有人估计在 2021 或 2022 年。原始清单的存档版（Twitter 原帖和 Arc 文件夹）能数出来的是 27 篇，LessWrong 上当时的整理帖标题就叫「The 27 papers」。
27 和 30 的差距在哪？对照一遍就知道。30u30 的 30 天里，前 28 天与原始清单一一对应——从 Karpathy 的 RNN 博客、colah 的 LSTM 图解、AlexNet、ResNet 两部曲，到 Attention Is All You Need、神经图灵机、Scaling Laws、CS231n，再到 Kolmogorov 复杂度教材和 Shane Legg 的《机器超级智能》。第 29 天的 PPO 和第 30 天的 RLHF，不在 Ilya 的原单里——是仓库作者自己补的。补得不算离谱（RLHF 确实是「今天最重要的东西」之一，而且最后一天的提交就在认真实现它），但「Master Ilya's 30 Papers」这个标题，把两篇私货算进了 Ilya 头上。
另一个没说破的地方：所谓「30 篇论文」其实是个混合套餐。数一下构成：21 篇论文之外，还有 4 篇博客教程（Karpathy、Olah、Sasha Rush 的 Annotated Transformer、Scott Aaronson 的复杂度动力学）、一门公开课（CS231n）、两本学术著作（Legg 的博士论文和 Kolmogorov 复杂度教材）。Aaronson 那篇「The First Law of Complexodynamics」和「咖啡自动机」严格说也不是论文而是博客长文。Ilya 的原单本来就如此——他要的不是文献综述，是让你真正理解的那条最短路径，博客和书都在路径上。
还有一层时间彩蛋。清单里最老的是 1993 年 Hinton 的 MDL 论文和 Kolmogorov 复杂度教材，最新的也是 2020 年的 Scaling Laws——没有 Transformer 之后的架构、没有扩散模型、没有 Agent。那句「you'll know 90% of what matters today」里的 today，说的是四五年前的今天。这份清单是一张 2021 年前后的基础地图，今天用它打底依然成立，打底之外的东西得自己补。
把两个学习路径摆在一起看也有意思。30u30 这类「论文+从零复现」是纵深路线：一个月冲完三十篇，吃透的是原理谱系。另一类是工程技能链路线，比如本号跟了半年多的那个 58k 星开源课程——从命令行、网络协议一路到机器学习基础，每天一课。前者给你「为什么」，后者给你「怎么做」，打底论文和打底工程，恰好是彼此的另一半。
30u30 的 README 结尾写着「全部单元完成，附加论文即将到来」，三个感叹号。八个月了，附加论文没来。1420 颗星、30 个单元、从零实现全部能跑——停在完 成度百分之百的那一刻，倒也算一种体面。
信源备注：GitHub Ojhaharsh/30u30（2026-01-19 建仓，2026-02-19 最后提交，1420 星，CC BY-NC-ND 4.0，papers/ 下 30 目录，抽查 Day 13 实现）；Ilya 清单原始出处为 Carmack 收到的邮件（2023 年采访提及，2024-05 Twitter 流传，原帖 @keshavchan 与 Arc.net 文件夹存档）；27 篇清单与 LessWrong「The 27 papers」帖及 GitHub dzyim/ilya-sutskever-recommended-reading 三源一致；PPO 与 RLHF 不在原始清单；构成统计（21 论文/4 博客/1 课程/2 著作/2 补充）按 30u30 目录逐日核对。