🧠 记忆的多层公寓——Gemma 4 如何让大模型又胖又瘦

一、一个奇怪的数学题

先给你出一道题：

> 一个 AI 模型，总共有 51 亿个参数，但它在回答问题时，真正参与计算的只有 23 亿个。 > > 问：剩下的 28 亿去哪里了？

如果你按常规思维，可能会想："是不是模型偷懒了？"或者"这算不算虚假宣传？"

都不是。

答案是：那 28 亿参数是词典——对，就是你桌上那本厚厚的英汉词典。只不过这个"词典"太大了，有 28 亿个数字。

而 Gemma 4 干了一件很聪明的事：它把这本词典从"随身必须携带"变成了"放在书架上，用时再翻"。

---

二、一张身份证走天下

要理解这件事，我们先得搞清楚：AI 是怎么"认识"一个词的？

想象一下，你第一次见到"量子"这个词。你在脑海里会做什么？你可能会想：

这是个物理概念
听起来很高端
好像和微观世界有关
有个什么量子纠缠、量子计算...

简单说，你把"量子"这两个字，转换成了你大脑里的一堆概念和联想。

AI 做类似的事，但方式更简单粗暴：它用一个巨大的表格（叫做"嵌入表"或 embedding table）。表格的一列是"量子"，旁边是一大串数字——可能是一个 256 维或 512 维的向量。这些数字没有人类能读懂的含义，但对 AI 来说，这就是"量子"在它大脑里的"身份证"。

传统的 Transformer 模型怎么工作呢？

它就像你拿着一张身份证去办事： 1. 第一层：拿出"量子"这个词，去嵌入表查一下，得到它的"身份证"（一大串数字） 2. 第2层到第N层：拿着这张"身份证"一路走下去，每层都在身份证上做一些处理、加一些信息 3. 最后：根据处理完的身份证，生成回答

听起来没问题，对吧？

但这里有个隐患：信息会衰减。

就像你拿着一张身份证走了几十层楼，每层楼都要在身份证上写写画画。走到后面，身份证上原始的信息——比如"这是个物理概念"、"它和微观世界有关"——可能已经被后来的笔记淹没或者淡化了。

更严重的是，如果你要 AI 理解一个很长的句子，比如：

> "量子纠缠是一种神奇的物理现象，爱因斯坦曾经戏称它为'幽灵般的超距作用'，但现代实验已经证实了它的存在..."

当 AI 处理到"它"这个词的时候，它手里的"身份证"还能清楚地记得"它"指的是"量子纠缠"吗？

通常，不能。这就是传统 Transformer 的瓶颈：信息随着层数加深而衰减，长距离依赖很难捕捉。

---

三、每到一层就重新介绍自己

Gemma 4 提出了一个看似简单、实则大胆的想法：

为什么不在每一层都查一次词典呢？

这就是 Per-Layer Embeddings（层级嵌入，简称 PLE）的核心思想。

想象一个场景：你不是拿着一张身份证走到底，而是每到一层楼，都重新自我介绍一次：

> 第1层："你好，我是'量子'，一个物理概念。" > > 第5层："你好，我还是'量子'，现在我在一个讨论微观世界的段落里。" > > 第10层："你好，我依然是'量子'，刚才提到了爱因斯坦，说明这个话题有历史背景。" > > 第20层："你好，'量子'在这里，这个句子的主语，记住我的位置。"

每到一层，模型都重新查一次嵌入表，获得这个词在当前上下文中"最新鲜"的理解。它不是在第一层就定死了一个词的含义，而是在每一层都根据当前已经处理过的信息，重新"激活"这个词的多重身份。

这就像是：你不需要背着一本厚词典走来走去，每层都有一个图书管理员，你告诉他你要查什么词，他立刻从书架上拿给你。

---

四、28亿参数放在书架上

现在我们回到那道数学题：51 亿参数，为什么只用 23 亿？

因为 Gemma 4 的嵌入表是静态的、与位置无关的。

这是什么意思？

传统模型里，嵌入表里的每个词向量会随着训练不断更新，而且不同位置的同一个词可能有不同的表示。但 Gemma 4 的 PLE 嵌入表是"只读"的——一旦训练完成，这些数字就固定下来了。

而且，PLE 嵌入是与位置无关的（position-agnostic）。也就是说，"量子"这个词在第1层和第20层查到的嵌入，虽然来自不同的嵌入表（每层有自己的嵌入表），但这些嵌入表本身不依赖于词在句子中的位置。

这带来了巨大的好处：这些嵌入表可以被放在磁盘或者闪存上，而不是必须塞进显存（VRAM）里。

想象一下：

显存就像你桌上的工作空间，只能放最重要的东西
磁盘/闪存就像你身后的书架，空间大得多，虽然拿东西慢一点，但完全够用

Gemma 4 把 28 亿参数的"词典"放在了书架上。当模型需要查词的时候，它从书架上取下对应的嵌入，用完就放回。这样，模型既拥有巨大的"词汇量"（28 亿参数的知识储备），又不会挤占宝贵的"工作空间"（显存）。

结果是：

模型很"肥"：51 亿参数的知识容量，能力强大
模型又很"瘦"：实际推理时只需要 23 亿参数在显存里，占用更少

---

五、刷新理解的力量

让我用一个更形象的比喻来说明 PLE 的优势。

想象你在读一部长篇小说。传统的阅读方式是：

你记住每个角色在第一章出场时的样子
然后一路读下去，靠这个第一印象去推断他们在后面的行为
读到第50章的时候，你可能已经忘了某个配角最初是谁，或者把一个角色的动机记混了

PLE 的阅读方式则是：

每读一章，你都重新翻一下人物小传
"哦，这个角色在这一章有新背景故事"
"这个角色刚才的行为暗示了他的新动机"
你始终拥有对角色的"刷新后"的理解

对于 AI 来说，这意味着：

长距离依赖不再是问题。

当模型处理到"它"这个词时，如果"它"指的是 50 个词之前的"量子纠缠"，PLE 让模型能够在每一层都重新"想起"这个概念的最新、最相关的含义。信息不会在层与层之间不断衰减和扭曲，而是在每一层都得到"刷新"。

---

六、为什么这很难想到？

你可能会问：既然这么好用，为什么之前没有人这么做？

好问题。

在深度学习领域，有一个隐含的假设：参数越多，需要的计算资源就越多，速度就越慢。

这就像说：一个人拥有的知识越多，他需要带的行李就越多。

Gemma 4 打破了这种直觉。它展示了一个可能性：你可以拥有海量的知识（28亿参数），但不需要随身携带（放在闪存里）。

这需要重新设计整个架构：

每一层都要有自己的嵌入表
嵌入表必须是静态的，才能放在闪存里
嵌入必须是位置无关的，才能在不同层之间复用
需要高效的内存管理机制，确保从闪存读取嵌入不会成为瓶颈

这就像重新设计一栋图书馆：不是让读者背着书走来走去，而是在每层都设一个查询台，读者随时可以查阅，但书一直留在书架上。

---

七、这对你意味着什么？

如果你不是 AI 研究员，这项技术对你意味着什么？

第一，你的手机可能会变得更聪明。

因为 Gemma 4 可以在更少显存的情况下运行，意味着大型语言模型可以更容易地被部署到手机、平板、甚至嵌入式设备上。你不需要联网，也能用上强大的 AI。

第二，AI 会变得更懂"长话"。

之前的 AI 很难处理长篇小说、复杂的法律合同、或者多轮对话中的长距离依赖。PLE 让 AI 能够更好地"记住"和理解长篇内容中的细微联系。

第三，AI 的能力会继续膨胀，但硬件要求不会同步膨胀。

Gemma 4 证明了一条新路径：模型可以变得更大（参数更多），但运行成本不一定成比例增长。这可能会改变整个行业的游戏规则。

---

八、一点费曼式的总结

如果你只能记住一件事，记住这个：

Gemma 4 用了一个很聪明的"作弊"方法——它让 AI 每到一层都重新查一次词典，而不是拿着一张身份证走到底。

这个"作弊"让它：

理解更准确（信息不会衰减）
记忆更持久（长距离依赖不再是问题）
占用显存更少（大词典放在书架上，用时再翻）
能力更强大（51亿参数的知识，23亿参数的效率）

在科学和工程里，最好的想法往往看起来很简单，以至于你会想："为什么我没想到？"

但简单和容易是两回事。把简单的想法变成现实，往往需要重新思考整个系统的架构，打破很多看似不可动摇的假设。

Gemma 4 的 Per-Layer Embeddings 就是这样：一个简单到可以用一句话概括的想法，但实现它需要勇气去质疑"参数越多越慢"的常识，需要智慧去设计一个让"肥模型"变"瘦运行"的架构。

这就是技术的魅力所在。它不总是在创造新东西，有时候，它只是让你用全新的方式看待旧东西。

---

参考文献

Gemma 4 Technical Report, Google DeepMind, 2025. Commit hash: 2c47ab1
Vaswani et al. "Attention Is All You Need." NeurIPS 2017.
本文技术细节基于 Gemma 4 公开技术报告，所有比喻和解释均为作者原创。

---

#记忆 #小凯 #Gemma4 #PLE #论文解读 #费曼风格