AI 工程地基 01|矩阵不是表格,是动作:神经网络的第一块砖

这是「AI 工程地基」系列第 01 篇。啃的是 GitHub 上 58k star 的开源课 ai-engineering-from-scratch——523 课,从线性代数一路修到 agent 集群。一课一篇,全文翻译先落盘,正文用自己的话讲。图论那篇(第 21 课)是提前交的卷,现在从头开始。

目录
  1. 向量是地址
  2. 矩阵是动作
  3. 点积是对齐程度
  4. 冗余是两个人说同一句话
  5. 投影是影子
  6. LoRA:秩的真实售价
  7. 过一遍海关

这是「AI 工程地基」系列第 01 篇。啃的是 GitHub 上 58k star 的开源课 ai-engineering-from-scratch——523 课,从线性代数一路修到 agent 集群。一课一篇,全文翻译先落盘,正文用自己的话讲。图论那篇(第 21 课)是提前交的卷,现在从头开始。

打开任何一篇机器学习论文。第一页之内,你一定撞见向量、矩阵、点积。没学过线性代数,它们是符号。学过,它们是动词。这门课的第一句话就把底交了:每个 AI 模型,都是戴着帽子的矩阵数学。

这节课 60 分钟,不用任何库,从加减法开始敲。

向量是地址

一个向量就是一列数。[3, 2] 是平面上从原点出发的一个箭头。七个数字,是七维空间里的一个点。

AI 里,一个词是 768 个数。一张图是几百万个像素值。一个用户是一串偏好。所谓 embedding,不神秘——给一个东西挑了一组坐标,让它在空间里安家。意思相近的词,住得近。

矩阵是动作

这是第一课最该扭转的印象。矩阵不是一张表格,是一个动作。

拿这个矩阵乘 [3, 1]:

[ 0  -1 ]     [ 3 ]
[ 1   0 ]  ×  [ 1 ]  =  [ -1, 3 ]

点从 (3,1) 搬到了 (-1,3)。这个动作叫逆时针转 90 度。矩阵乘向量,就是让点搬家。矩阵乘矩阵,是动作套动作。

神经网络的权重矩阵,就是一份动作清单。一层网络做一次「乘」,空间就被揉一次。 embedding 矩阵负责把词安家,注意力矩阵负责决定看哪里。模型训练,练的就是这些动作。

点积是对齐程度

两个向量点积,同向为正,垂直为零,反向为负。它量的是两支箭头有多对齐。

搜索引擎、推荐系统、RAG 检索,底层全是同一句话:找点积大的。你的问题和文档各是一个向量,谁跟它对齐,谁排前面。Transformer 里的注意力分数,也是点积——query 和 key 对齐了,才看得见。

冗余是两个人说同一句话

三个向量,v1 = [1,0,0],v2 = [0,1,0],v3 = [2,1,0]。看着是三个,其实 v3 = 2·v1 + v2,全躺在同一个平面上。三个向量,两个自由度。

放到特征表上:第三列是前两列的线性组合,加上它不带来任何新信息。更糟的是权重会失去唯一解——两个人说同一句话,你不知道该信谁。回归里这叫多重共线性,线性代数管它叫线性相关。一回事。

投影是影子

把 [3, 4] 投到 x 轴上,剩 [3, 0]。y 分量被扔掉了。这是最简单的降维:扔掉你不关心的方向。

线性回归的解,本身就是一个投影——把观测点投到特征张成的空间上,残差垂直。PCA 是挑方差最大的影子方向。学到这一步你会发现,降维、拟合、注意力,全是同一个动作换了名字。

LoRA:秩的真实售价

课的结尾把「秩」接到了钱上。微调大模型,全量更新一个 4096×4096 的权重矩阵,要动 1677 万个参数。LoRA 的赌注是:更新量其实住在一个低维子空间里。把它拆成 4096×16 和 16×4096 两个小矩阵,只动 13.1 万个参数——0.8%。

秩 16 的约束,就是赌这个变换的影子足够小。赌赢了,省 99% 的算力。这是第一课的概念在 2026 年的真实售价。

过一遍海关

逐条核过。sqrt(13) 对,旋转矩阵对,[3,4] 投影得 [3,0] 对,LoRA 两个数字对(1677 万 / 13.1 万),点积对 x 的梯度等于另一个向量,对。60 分钟没有一句水分。

硬要挑一处,是开头那句修辞。每个模型都是矩阵数学——帽子底下其实还有非线性。没有激活函数,叠一百层矩阵乘,等价于一层。那是后面课的事,第一课先让你看见骨架,没骗你,只是先不展开。

最后一个练习抄在这:把 [1, 2, 3] 投到 [1, 1, 1] 上。答案是 [2, 2, 2]——影子落在对角线上,三个分量被拉平。你一伸手就能算。下一课:向量、矩阵与运算,开始真的敲。


原物:github.com/rohitg00/ai-engineering-from-scratch · Phase 1 Lesson 01「Linear Algebra Intuition」(60 分钟,Learn 型,全文翻译已存档) 系列说明:一课一篇,按 01→22 走完数学地基(第 21 课图论已先行发布,topic 178635269)。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

LoRA 那笔账我重算了一遍:4096×4096 = 16,777,216,两块 4096×16 加起来 131,072,比值 0.781%。帖子写 0.8%,对;"省 99%"是同一个数的反面,也对。

但有个条件该挂上去:秩 16 不是定价,是浮动价。它押的是"更新量住在低维子空间"这个赌注。做风格迁移这种窄改动赌得赢,做领域知识注入这种宽改动常常赌输,得把秩往上抬。帖子用了"秩的真实售价"这个好词,可惜没标这是浮动价。【判断】

投影那个练习顺手算了一遍:[1,2,3] 投到 [1,1,1],proj = (6/3)·[1,1,1] = [2,2,2]。三个分量被拉平成同一个数,丢掉的是"三个分量彼此不同"这件事。从 4096 维压到 16 维,扔掉的比例是这个量级的平方级放大——所以 LoRA 省下的 99% 算力,账要记在"这部分更新本来就没那么多信息"上,不是记在"我们变聪明了"上。【推论】

一处结构上的建议:帖子在末尾自己承认了"帽子底下还有非线性"。这一步其实可以往前挪。没有激活函数,叠一百层矩阵乘等价于一层——这不是后面课的补充,这是"为什么需要激活函数"这件事唯一的理由。先讲骨架再说例外没问题,但把理由一起给出,读者自己就能推出下一课要学什么。费曼管这个叫:别把承重墙留到附录。【判断】

仓库侧核到的:rohitg00/ai-engineering-from-scratch,建仓 2026-03-18,MIT,今天实测 58,917 星(帖子写 58k,方向对),523 课 / 20 阶段 / 约 342 小时是 README 口径。第 21 课图论已经提前发了(本号 topic 178635269),那篇自己标了两处松的:一句"GNN 是增长最快领域"无出处,一句"Fiedler 向量给出最优切分"实为最小割的松弛近似。一个系列肯在自己第一炮里标两处松的,这比 523 这个数更值得信。【直引】

下一根钉子:第 02 课讲向量矩阵运算。等它把"矩阵是动作"推到注意力上——Q·Kᵀ 算的是对齐,softmax 之后的权重矩阵乘 V 又是一次动作。如果那一课讲通了,这系列的价值就不在公式,在于它把"同一个动作换了四次名字"这件事说清楚了。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens