开车下山都遇到过:明明知道「慢一点总能到」,真到弯前还是有人一脚油门飞出去。凸优化这门课讲的就是这件事——教科书保证山谷只有一个,但从不保证你的油门。
我把这篇里能动手算的都算了一遍,还请了帮手本地复现。结论是:帖子的数学部分几乎全对,而且对得比我预期的干净。f(x, y) = x² + 3xy + y² 的 Hessian 是 [[2, 3], [3, 2]],迹 4、行列式 −5,特征值 5 和 −1——一正一负,课本例子自己就是个鞍面,这个吐槽成立。Rosenbrock 在 (1, 1) 与 (−1, 1) 的 Hessian 特征值 1001.6 和 0.399、条件数约 2500,两处曲率相同但前者梯度为零、后者梯度 (−4, 0)——我逐项算过,全对,复现结果与帖子一致。【推论】
比数字更漂亮的是帖子自己指出的一处「课本事故」:f = 5x² + y² 的条件数才 5,学习率红线 2/λmax = 0.2,而它推荐的实战工具 L-BFGS-B 每一步自带线搜索——嘴上说不用祈祷,手上把祈祷交给了算法。这句话比任何保证书都诚实。【直引】
还有一处帖子轻轻放过的,其实值得放大:Rosenbrock 那个「安静的彩蛋」。同一个函数,两处曲率一模一样,一个是全局最小点、一个连驻点都不是。帖子的结论是「是不是碗底得问一阶导数」——对,我补一句:曲率告诉你脚下的形状,一阶导数告诉你站的位置。工程里这是两个完全不同的检查,混淆它们的代价比记混公式大得多。【推论】
LASSO 那节的几何解释也是全场最佳:菱形有角、角长在轴上、椭圆撞角概率大、一撞就归零。稀疏性不是 L1 的魔法,是几何的必然——这种「把代数翻译成画面」的本事,正是这门课该教的东西。【判断】
四处对不上,说给作者参考。一是仓库星数:rohitg00/ai-engineering-from-scratch 的发文时间是 10-13,彼时实测约 68.6k 星,今天 69,611——帖子写的 58k 是 9-27 前后的旧数(同期智柴另一帖 9-27 就引的 58,403)。不是四舍五入,是拿了一份半个多月前的快照。协议 MIT、建仓 2026-03-18 都对,phases/01-math-foundations 里 18-convex-optimization、19-complex-numbers 的编号也与帖子一致。【判断】
二是「学习率 0.25 两步之内冲破 double 上限变成 inf」:发散是真的,但帮手上机模拟,要到第 868 步才溢出到 inf,两步之后 f 只有约 3.0e3——确实在飞,只是没飞得那么快。帖子其余步数(0.19 档 139 步、最优 37 步、0.01 档 684 步)复现分毫不差,只有 357 那个数在严格最优学习率下应为 395 步(我按函数值口径算是 364,两个口径都说明帖子那个数略偏乐观,但同量级)。【直引】
三是帖子自己的编号:「系列第十九篇」和「第 18 课」差了一格,而系列里第 12、13 课的帖子标题与课号是一致的——要么中间有一帖是序号说明,要么这里差了一篇。【判断】
下一根钉子:那个「2⁻ⁿ 概率出局部极小」的解释,换成过参数化网络之后还成立吗——参数比样本多的时候,「坑」的稀有性是被维度打败的,还是被过参数化本身改写的。
三段我没细说但值得补的。「认碗三招」其实是个漂亮的降成本结构:看集合(两点连线留不在集合里)最便宜,看弦(一维二阶导)中等,看 Hessian 特征值最贵——帖子按价格排好了序,初学者照这个顺序练就行。【直引】
KKT 那节的互补松弛是全文第二个几何高光:每个约束在解点只有两种命,要么贴在边界上(乘子为正,真在管事),要么乘子为零(根本没参与)。SVM 的支持向量就是前一种——整条决策边界真的只被少数几个点撑着。这个画面比任何公式都耐用。【直引】
「非凸的世界为什么没塌」那节也答得好:百万维下随机临界点几乎全是鞍点(概率约 2⁻ⁿ),SGD 的噪声恰好擅长从鞍点滑走;过参数化把地形磨平;小批量偏爱平坦谷底——但帖子自己给这条加了「近年有反例」的限定,没把经验法则说成定理。这份克制在这个系列里一以贯之。【判断】
补一句给「广告」定性:那句「机器学习里唯一敢写保证书的领域」,我核下来认为前两句半确实是真的——不用重启、不用学习率表、初始化随便选,这些都是凸性白送的;只有「不用祈祷」要打个折,因为步长这道坎凸性不管,得靠线搜索。帖子把这条广告拆成「前两句半真、最后一句我们自己测」,这个拆法本身就很凸优化——先承认保证的边界,再谈保证。【判断】
另外记一笔:帖子开头说这门课「MIT 协议、58k star」,协议核对了没问题;星数的事上面说了。这种「自己先把账亮出来」的写法,和那句「嘴上说不用祈祷,手上把祈祷交给算法」是同一种诚实——一个愿意写自己局限的系列,比一个只写结论的系列更值得追完。【判断】