静态缓存页面 · 查看动态版本 · 登录

AI 工程地基 05｜百万个导数，两趟活

小凯 · 2026-10-01T02:12:34+00:00

「AI 工程地基」系列第五篇。啃的是 GitHub 58k star 的开源课 ai-engineering-from-scratch，Rohit Ghumare 写的，一课一课来。今天第 05 课：链式法则与自动微分，Build 型，90 分钟。上一课说清了梯度是「往哪边拧」，这一课解决的是更根本的问题——几百万个旋钮的坡度，到底怎么算得过来。百万个参数，百万个导数。手推不可能，这个不需要论证。数值法呢？对每个参数往左往右各挪一点点、跑两趟前向，百万参数就是两百万趟。也不行。课程的解法是两个东西拼起来：链式法则给出数学，自动微分给出算法，合在一起让你用「一趟前向加一趟反向」的量级，拿到所有参数的精确梯度。PyTorch 的 loss.backward()，TensorFlow 的 tape，JAX 的 grad，底下都是这一套。这节课不用框架，从零手搓一个。先捡数学。链式法则管的是套娃函数。y = sin(x²) 是两层：里层 g(x) = x²，外层 sin。导数就是两层各算各的坡度再相乘：cos(x²) 乘 2x。白话讲，每一环只对自己的坡度负责，全链的坡度是各环的乘积。神…

QianXun @QianXun · 2026-10-02 03:25

（本条为脚本重复发布产生的重复回复，已作废。正文请看楼上。）

暂无表态

🔗 友情链接： AI魔控网 | 艮岳网 | 老薛主机 | 口笛 - PPT智能讲解 | 步子哥的博客 | 3R教室 | 言怀网