DeepSeek Engram模块深度研究：为大模型构建“条件记忆”新范式
1. 核心设计理念：记忆与计算的分离与协同
DeepSeek提出的Engram模块，其核心设计理念在于对大语言模型（LLM）内部处理机制的一次深刻反思与架构革新。它挑战了传统Transformer模型中“计算即记忆”的同质化假设，提出了一种将静态知识记忆与动态神经计算进行结构性分离与高效协同的新范式。这一理念不仅旨在解决现有模型在知识检索上的效率瓶颈，更试图通过引入“条件记忆”这一全新的稀疏性维度，与主流的“条件计算”（如Mixture-of-Experts, MoE）形成互补，从而开辟一条通往更高效、更强大AI模型的新路径。Engram的设计哲学根植于对认知过程的模拟，即区分大脑中负责事实回忆的“记忆”功能与负责逻辑推理的“思考”功能，并为AI模型分别构建专门的、优化的处理模块。
1.1 问题背景：Transformer架构的知识检索缺陷
尽管基于Transformer架构的大语言模型取得了举世瞩目的成就，但其内在设计在处理特定类型的任务时仍存在固有的效率缺陷。尤其是在知识检索方面，Transformer缺乏一种原生的、高效的查找机制，这导致模型在处理大量静态、事实性知识时，不得不依赖一种“曲线救国”的方式，即通过复杂的神经网络计算来模拟简单的查找行为，这造成了巨大的计算资源浪费。
1.1.1 缺乏原生知识查找机制
传统的Transformer模型，无论是密集模型还是混合专家（MoE）模型，其核心信息处理单元是注意力机制和前馈网络。模型将知识隐式地存储在数十亿甚至数万亿的参数中，当需要检索特定信息时，它必须通过这些复杂的计算层来“重建”或“推断”出所需的知识。这个过程类似于人类在没有任何外部工具的情况下，仅通过大脑内部的神经元活动来回忆一个事实。然而，与拥有高效数据库查询系统（如SQL）或搜索引擎不同，Transformer架构内部并没有一个原生的、高效的查找原语（lookup primitive）。它无法像数据库一样，通过一个明确的键（key）直接定位并提取存储在特定位置的值（value）。这种设计的缺失，使得模型在处理需要频繁访问事实性知识的任务时，不得不依赖于一个相对“笨拙”和“昂贵”的过程。
1.1.2 通过计算模拟检索的低效性
由于缺乏原生的查找机制，Transformer模型只能通过其标准的计算流程来模拟知识检索。这个过程被DeepSeek的研究生动地描述为“用昂贵的运行时计算来重建一个静态查找表”。论文中引用了一个具体的例子：当模型需要识别“Diana, Princess of Wales”这个实体时，它需要逐层处理，前几层可能还在分析“Wales”是一个地区，“Princess of Wales”是一个头衔，直到更深的层次才能将这些信息组合起来，最终“想起”这指的是戴安娜王妃。这个过程可能需要多达6层Transformer块的参与。本质上，模型是在用本应用于高级逻辑推理和组合泛化的深度神经网络，去做一件本可以通过简单的查表操作完成的事情。这种“大材小用”的方式，不仅浪费了大量的计算资源（FLOPs），更重要的是，它占用了模型的“有效深度”。那些本应在更高层次上处理复杂推理和全局依赖的网络层，被迫承担了识别和重构静态知识的“苦力活”，从而限制了模型在更高级认知任务上的表现上限。
1.2 核心思想：条件记忆与条件计算的互补
为了解决上述问题，DeepSeek提出了一个核心思想：将模型内部的两种不同功能——静态知识的记忆与动态逻辑的计算——进行解耦，并使其成为两个互补的、可协同工作的稀疏性维度。这一思想通过“条件记忆”（Conditional Memory）和“条件计算”（Conditional Computation）两个概念得以实现。其中，条件计算由大家熟知的混合专家（MoE）模型来代表，而条件记忆则由新提出的Engram模块来承载。这种设计哲学认为，一个理想的、高效的大模型架构，应该像一个配备了高效图书馆和强大计算中心的研究机构，既能快速查阅海量资料，又能利用这些资料进行深度思考和创新。
1.2.1 Engram作为条件记忆的实现
Engram模块是实现“条件记忆”这一概念的具体载体。它的设计灵感来源于神经科学中的“记忆痕迹”（memory trace），旨在为大模型提供一个专门的、可扩展的、用于知识存储和检索的组件。与MoE通过条件激活不同专家网络来实现计算上的稀疏性不同，Engram通过条件触发对静态记忆库的查找，实现了在知识维度上的稀疏性。这意味着模型可以根据输入的上下文，智能地判断是否需要从外部知识库中检索信息。这种机制将知识的存储从模型的动态参数中部分剥离出来，形成一个独立的、可以大规模扩展的查找表。Engram的设计目标是，对于那些固定的、事实性的、模式化的知识（如实体名称、短语搭配、代码片段等），提供一种O(1)时间复杂度的快速检索能力，从而将这部分“记忆”任务从深度神经网络中卸载下来。
1.2.2 MoE作为条件计算的实现
混合专家（Mixture-of-Experts, MoE）模型是当前实现“条件计算”的主流技术。在MoE架构中，模型的前馈网络（FFN）层被替换为多个并行的“专家”网络。在处理每个输入token时，一个路由网络（router）会根据输入的隐藏状态，动态地选择一小部分（例如top-k）专家进行激活和计算，而其他未被选中的专家则不参与计算。这种方式使得模型的总参数量可以非常大，但每个token实际激活的参数量（即计算量）保持在一个较低的水平，从而在扩大模型容量的同时控制了计算成本（FLOPs）。MoE的核心优势在于处理需要复杂、动态和组合性推理的任务。当模型需要进行多步逻辑推断、创造性生成或处理全新的上下文时，MoE专家网络的非线性变换能力是不可或缺的。
1.2.3 互补协同的双系统架构
Engram和MoE的结合，构成了一个高效协同的双系统架构。在这个架构中，两者各司其职，互为补充。Engram被放置在Transformer的较浅层，其主要职责是“模式重构”（Pattern Reconstruction）。当输入一个token序列时，Engram会快速扫描其中是否存在已知的N-gram模式，并从其庞大的记忆库中检索出对应的静态知识嵌入。这些检索到的知识片段随后被融合到隐藏状态中，作为“素材”传递给后续的MoE层。而摆脱了静态知识重构负担的MoE层，则可以专注于其最擅长的任务——“复杂的、组合性的推理与合成”。这种清晰的职责分离，使得模型的整体效率得到了极大的提升。Engram负责快速、廉价地处理“记忆”相关的工作，而MoE则负责昂贵、智能的“计算”工作。这种设计不仅优化了参数和计算效率，更重要的是，它通过将不同类型的任务分配给最适合的模块，提升了模型在各类任务上的综合性能。
1.3 U型缩放定律：记忆与计算的最优分配
在提出了条件记忆与条件计算协同工作的双系统架构后，一个关键问题随之而来：在给定的总参数预算和计算预算下，应该如何最优地在Engram（记忆）和MoE（计算）之间分配资源？为了回答这个问题，DeepSeek团队系统地研究了“稀疏性分配问题”（Sparsity Allocation Problem），并在此过程中发现了一个重要的规律——U型缩放定律（U-shaped Scaling Law）。这个定律揭示了记忆与计算之间的最优分配比例，并证明了纯MoE架构并非最优解，从而为下一代稀疏模型的设计提供了宝贵的理论指导。
1.3.1 稀疏性分配问题的定义
为了形式化地研究这个问题，DeepSeek首先定义了几个关键的参数指标：
- Ptot: 总可训练参数数量（不包括词嵌入和语言模型头）。
- Pact: 每个token激活的参数数量。这个值直接决定了训练成本（FLOPs）。
- P_sparse: 稀疏参数，定义为
P_tot - P_act。这部分参数代表了在不增加计算成本的情况下，可以用来扩展模型规模的“免费”参数预算。例如，MoE中未被选中的专家和Engram中未被检索的嵌入都属于此类。
在此基础上，团队引入了
分配比例（allocation ratio） ρ ∈ [0, 1] ，它表示将稀疏参数预算
P_sparse 分配给MoE专家容量的比例。
- 当
ρ = 1 时，对应于一个纯MoE模型，所有的稀疏参数都用于增加专家数量。 - 当
ρ < 1 时，意味着减少MoE专家的数量，并将释放出来的参数分配给Engram的嵌入槽位。
通过在严格的
等参数量（iso-parameter） 和
等计算量（iso-FLOPs） 约束下进行实验，团队可以系统地评估不同
ρ 值下模型的性能，从而找到最优的分配策略。
1.3.2 U型缩放定律的发现与验证
实验在两个不同的计算规模下进行，分别是 C = 2 × 10^20 FLOPs 和 C = 6 × 10^20 FLOPs，并保持了固定的总参数和激活参数。实验结果揭示了一个清晰且一致的规律：验证损失（validation loss）与分配比例 ρ 之间呈现出一种U型关系。
- 纯MoE模型（ρ = 100%）是次优的：当所有稀疏参数都分配给MoE专家时，模型的性能并非最好。这表明，仅仅依靠增加专家数量来提升模型容量存在局限性。
- Engram主导的模型（ρ → 0%）同样是次优的：当模型过度依赖Engram而大幅削减MoE的计算能力时，性能也会下降。这说明，静态记忆无法完全替代动态计算，尤其是在需要复杂推理的任务上。
- 最优分配点存在于中间区域：U型曲线的最低点，即性能最优点，出现在
ρ 约为75%-80%的区间。这意味着，将大约20%-25%的稀疏参数预算从MoE专家重新分配给Engram记忆，可以获得最佳的模型性能。
这一发现具有深远的意义。它雄辩地证明了条件记忆（Engram）和条件计算（MoE）是
结构上互补的，而非相互竞争的机制。将它们结合起来，并找到合适的平衡点，能够严格地超越任何一种纯架构。
1.3.3 最优分配比例：75-80% MoE与20-25% Engram
U型缩放定律不仅揭示了记忆与计算的互补性，还给出了具体的、可操作的指导方针。在10B参数规模（C = 6 × 10^20 FLOPs）的实验中，当分配比例 ρ 从100%（纯MoE）调整到约80%时，验证损失从1.7248显著降低到1.7109，降幅 Δ = 0.0139。这个提升是在总参数和总计算量完全不变的情况下实现的，完全归功于更优的架构设计。
更值得注意的是，这个最优分配比例（ρ ≈ 75%-80%）在不同的计算规模下表现出惊人的稳定性。无论是在5.7B参数规模还是在9.9B参数规模的实验中，最优点的位置都大致相同。这表明，U型缩放定律可能是一个具有普遍性的规律，为在不同规模下设计高效的稀疏模型提供了一个稳健的启发式规则。这一发现也暗示，未来的大模型架构设计，需要像Engram一样，将“硬件感知效率”（infrastructure-aware efficiency）作为一等设计原则，通过算法与系统的协同设计，来突破单纯参数扩展带来的瓶颈。
2. 技术架构与实现细节
Engram模块的技术实现是其设计理念落地的关键。它并非简单地回归传统的N-gram模型，而是在现代深度学习框架下对N-gram思想的一次彻底现代化改造。其核心在于通过精巧的架构设计，实现了高效的O(1)知识查找、与Transformer的无缝融合以及与MoE架构的协同工作。整个模块可以被看作一个两阶段流程：首先是基于哈希的确定性检索，其次是基于上下文的动态融合。这一整套技术方案，使得Engram既能发挥传统查表方法的速度优势，又能保留深度学习模型的灵活性和上下文感知能力。
2.1 整体架构：检索与融合的两阶段流程
Engram模块的核心工作流程可以清晰地划分为两个主要阶段：检索（Retrieval）和融合（Fusion）。这个流程被设计为对Transformer主干的增强，它在特定的层中插入，以实现对静态记忆和动态计算的解耦。在每个处理位置，模块首先执行检索操作，从庞大的记忆库中查找与当前上下文相关的知识；然后，通过一个门控机制，将检索到的静态知识与动态的隐藏状态进行智能融合，从而生成一个信息更丰富的表示，供后续的Transformer层使用。
2.1.1 检索阶段：基于哈希N-gram的O(1)查找
检索阶段是Engram模块实现高效知识查找的核心。当输入一个token序列时，Engram首先在当前位置提取N-gram特征。例如，对于一个3-gram模型，它会将当前token与前两个token组合成一个三元组。接着，Engram使用一个哈希函数（hash function）将这个N-gram元组映射为一个唯一的整数索引（ID）。这个索引被用作一个巨大的、可学习的嵌入表（lookup table）的键（key），通过一次简单的数组索引操作，即可直接取出对应的嵌入向量（embedding vector）。由于哈希计算和数组索引的时间复杂度都是常数级的，因此整个检索过程的时间复杂度为O(1) ，与记忆库的大小无关。这种确定性的、基于输入token序列的寻址方式，是Engram区别于MoE动态路由的关键，也是其能够实现高效系统优化的基础。
2.1.2 融合阶段：上下文感知门控机制
仅仅检索出静态的N-gram嵌入是不够的，因为同一个N-gram在不同的上下文中可能具有不同的含义（即一词多义问题）。为了解决这个问题，Engram设计了一个上下文感知门控机制（context-aware gating mechanism） 。在融合阶段，模块会将当前位置的隐藏状态（hidden state）作为查询（Query），将检索到的N-gram嵌入作为键（Key）和值（Value），通过一个缩放点积注意力（Scaled Dot Product）操作，计算出一个介于0和1之间的标量门控值（gating value）。这个门控值的作用是动态地调节检索到的记忆对最终输出的贡献。如果检索到的N-gram与当前上下文高度相关，门控值会趋近于1，允许该记忆被充分融合；反之，如果检索到的内容是噪声或不相关的，门控值会趋近于0，从而有效地将其屏蔽。这种“条件化”的设计，使得Engram能够智能地、有选择性地利用其记忆，避免了传统N-gram模型的僵化问题。
2.2 O(1)查找的实现：现代化哈希N-gram嵌入
Engram实现O(1)查找的关键在于其对经典N-gram嵌入技术的现代化改造。传统的N-gram模型面临着两大挑战：一是存储爆炸问题，即随着词汇表大小和N的增加，可能的N-gram组合数量会呈指数级增长；二是语义重复问题，即同一个词的不同形式（如大小写、词形变化）会被视为不同的token，导致存储浪费。Engram通过一系列精巧的技术手段，有效地解决了这些问题。
2.2.1 分词器压缩：提升语义密度
为了解决语义重复问题，DeepSeek团队首先对分词器（tokenizer）进行了优化。他们通过改进分词算法，将语义相同但形式不同的token归为一类。例如，“Apple”、“apple”和“Äpple”可能被映射到同一个token ID。实验表明，通过这种压缩，一个128k大小的词表，其有效规模可以直接减少23%。这不仅极大地节省了存储空间，更重要的是，它使得语义相近的token在嵌入表中的位置也彼此靠近，从而提升了查找的效率和泛化能力。这种预处理步骤，为后续高效的哈希查找奠定了坚实的基础。
2.2.2 多头哈希：避免内存爆炸与冲突
为了解决存储爆炸问题，Engram采用了多头哈希（multi-head hashing） 的策略。它并非将所有N-gram都存储在一个巨大的表中，而是使用多个独立的哈希函数，将N-gram映射到多个规模较小的嵌入表中。例如，一个3-gram可以被哈希到3个不同的表中，每个表对应N-gram中的一个位置。最终的嵌入向量是这多个表查找到的结果的组合（例如，通过拼接和线性变换）。这种设计有两个好处：首先，它将存储复杂度从O(V^N)（V是词汇表大小）降低到O(V * k)（k是哈希表数量），极大地缓解了内存压力；其次，通过多个哈希函数的组合，可以有效地降低哈希冲突的概率，即使两个不同的N-gram在某个哈希函数下发生了冲突，它们在其他哈希函数下发生冲突的可能性也很小，从而保证了检索的准确性。
2.3 上下文感知门控：确保记忆的高精度融合
上下文感知门控是Engram模块的灵魂所在，它赋予了静态记忆以动态的生命力。这个机制确保了Engram不仅仅是“记忆”的存储器，更是一个懂得“何时记忆”的智能过滤器。通过精细的门控设计，Engram能够根据实时的上下文信息，精确地控制记忆的注入，从而避免了无关信息的干扰，提升了模型的整体表现。
2.3.1 门控机制的设计与实现
门控机制的实现借鉴了Transformer中的注意力机制。具体来说，对于一个给定的N-gram，Engram首先通过哈希查找获得其嵌入向量 e_ngram。同时，模型当前层的隐藏状态为 h。门控值的计算可以表示为：
gate_value = sigmoid(W_g * [h; e_ngram] + b_g)
其中 W_g 和 b_g 是可学习的参数，[;] 表示拼接操作。这个门控值 gate_value 是一个标量，它决定了 e_ngram 对最终输出的贡献。最终的输出 h' 是原始隐藏状态 h 和记忆嵌入 e_ngram 的加权组合：
h' = h + gate_value * W_f * e_ngram
其中 W_f 是一个用于融合特征的线性变换矩阵。这种设计使得模型能够端到端地学习何时以及如何有效地利用其记忆库。
2.3.2 可视化分析：门控的选择性激活模式
论文中通过可视化分析，生动地展示了门控机制的选择性激活模式。在一个可视化图中，颜色越深表示Engram判断当前的文本片段越符合一个“固定的静态模式”，从而更倾向于调用记忆库中的信息；颜色越浅则表示该片段越动态、越灵活，主要由模型的注意力机制来处理。例如，当模型看到“张”这个字时，它可能认为这是一个常见的姓氏，门控值较低。但当它看到“张仲景”这个三字组合时，门控值会急剧升高，因为它识别出这是一个固定的历史人物实体，需要从记忆中检索相关信息。这种选择性激活的模式，清晰地表明了Engram能够有效地将静态模式识别任务从动态计算中分离出来，实现了其设计初衷。
2.4 与MoE架构的集成
Engram模块并非一个独立的模型，而是被设计为可以无缝集成到现有Transformer架构（特别是MoE架构）中的一个插件。其集成策略经过了精心的设计，旨在最大化其与MoE模块的协同效应。
2.4.1 模块的放置策略：早期层处理静态模式
关于Engram模块在Transformer网络中的放置位置，DeepSeek团队进行了深入的消融实验。实验结果表明，将Engram模块放置在网络的早期层（early layers）能够获得最佳的建模性能。其背后的机理是，模型的处理过程本身具有层次性：浅层网络通常负责处理局部的、低层次的特征（如词性、短语结构），而深层网络则负责处理全局的、高层次的语义和推理。通过在早期层插入Engram，模型可以在计算之初就高效地获取和处理静态的局部知识，从而将这部分“记忆”负担从主干网络中剥离。这使得后续的MoE专家和注意力层可以“轻装上阵”，更专注于处理需要全局上下文和复杂推理的任务。这种“先记忆，后推理”的流水线设计，是Engram与MoE协同工作的关键。
2.4.2 职责分离：Engram负责记忆，MoE负责推理
Engram与MoE的集成，完美地体现了“职责分离”的设计原则。下表清晰地对比了两者在双系统架构中的不同角色：
| 维度 | MoE (条件计算) | Engram (条件记忆) |
|---|
| **主要目标** | 条件激活神经专家进行动态计算 | 条件触发对静态记忆的查找 |
| **计算类型** | 密集的神经网络计算（激活部分专家） | O(1)确定性的查表操作 |
| **优化方向** | 降低每个token的活跃神经计算量 | 卸载通过神经计算重建已知模式的任务 |
| **典型作用位置** | 更深的网络层，用于复杂推理 | 早期网络层，用于模式检索和记忆重构 |
通过这种明确的分工，Engram和MoE形成了一个高效的“记忆-推理”联合体。Engram像一个庞大的、可随时查阅的百科全书，而MoE则像一个强大的、善于逻辑思辨的大脑。两者结合，使得模型既能拥有海量的知识储备，又能具备强大的推理能力，从而在各项任务中取得突破性的性能提升。
3. 性能表现与基准测试
DeepSeek通过一系列严格的、控制变量的实验，全面验证了Engram模块的有效性。实验的核心在于，在完全相同的总参数量（iso-parameter）和总计算量（iso-FLOPs）约束下，将集成了Engram的模型与纯MoE基线模型进行直接对比。结果有力地证明了，Engram架构不仅在理论上具有吸引力，在实践中也确实能带来显著的性能提升。这些提升不仅体现在模型最擅长的知识密集型任务上，更出人意料地体现在了通用推理、代码数学以及长上下文处理等多个维度，充分展示了其架构的优越性。
3.1 与纯MoE模型的对比
为了进行公平的比较，DeepSeek构建了一个名为Engram-27B的实验模型，并确保其总参数和激活参数与纯MoE基线模型完全一致。这种严格的控制变量方法，使得任何性能上的差异都只能归因于架构设计的不同，而非模型规模或训练资源的差异。
3.1.1 等参数量与等FLOPs约束下的严格对比
实验设置非常严谨。研究人员在两个不同的计算规模（C = 2 × 10^20 和 C = 6 × 10^20 FLOPs）下进行了对比，并保持了固定的总参数与激活参数之比（约为10:1）。这意味着，无论是Engram模型还是MoE模型，它们在训练过程中消耗的总计算资源是完全相同的。例如，在C = 6 × 10^20 FLOPs的规模下，基线纯MoE模型拥有约99个专家，总参数量约为9.9B，激活参数量约为993M。而Engram模型则通过调整专家数量和Engram嵌入槽位数量，在保持总参数量和激活参数量不变的前提下，实现了记忆与计算的不同分配比例。这种“苹果对苹果”的比较方式，使得实验结论极具说服力。
3.1.2 Engram-27B模型的整体性能优势
在严格的等参数量和等FLOPs约束下，Engram-27B模型在多个基准测试中全面超越了纯MoE基线模型。根据论文和社区解读，Engram-27B模型在知识、推理、代码和数学等多个领域都表现出了一致的改进。这表明Engram带来的性能提升是普适的，而非局限于某一特定类型的任务。这种全面的性能优势，有力地证明了将条件记忆与条件计算相结合的架构设计，是一种比单纯扩展MoE专家数量更优的模型扩展路径。这一结果也与U型缩放定律的预测相符，即在记忆和计算之间找到最佳平衡点，能够最大化模型的性能潜力。
3.2 知识密集型任务提升
Engram模块的设计初衷是为了提升模型的知识检索能力，因此，它在知识密集型基准测试上的优异表现是意料之中的。这些任务通常要求模型具备丰富的事实性知识，例如回答关于历史、科学、文化等方面的问题。
3.2.1 MMLU基准测试：+3.0至+3.4个百分点
在衡量模型多任务语言理解能力的权威基准MMLU（Massive Multitask Language Understanding）上，Engram-27B模型相比纯MoE基线取得了显著的提升。不同来源的报道中，提升幅度略有差异，但都在3个百分点以上，分别为+3.0和+3.4。MMLU涵盖了从初等数学、美国历史、计算机科学到法律等57个学科的知识，能够全面评估模型的知识广度和深度。Engram在这一基准上的大幅提升，直接证明了其通过O(1)查找机制高效存储和检索知识的能力，有效地弥补了纯MoE模型在知识记忆方面的短板。
3.2.2 CMMLU基准测试：+4.0个百分点
在更具挑战性的中文多任务语言理解基准CMMLU（Chinese Massive Multitask Language Understanding）上，Engram模型的优势更为明显，性能提升达到了+4.0个百分点。这表明Engram的知识检索机制对于不同语言和文化背景的知识同样有效，具有很强的通用性。
3.3 推理能力显著提升
最令人惊喜的发现是，Engram模块不仅提升了模型的“记忆力”，更显著地增强了其“思考力”。这似乎有悖常理，但机制分析揭示了其背后的深层原因。
3.3.1 BBH基准测试：+5.0个百分点
BBH（Big-Bench Hard）是一个包含23个具有挑战性任务的基准测试，旨在评估模型的多步推理和复杂问题解决能力。在这个对推理能力要求极高的测试中，Engram-27B模型取得了高达5.0个百分点的巨大提升。这一结果有力地支持了研究团队的机制分析：Engram通过将静态模式重构的任务从模型的早期层中卸载，有效地“加深”了网络，使得模型可以将更多的计算资源（即“有效深度”）用于处理需要复杂推理的任务。
3.3.2 ARC-Challenge基准测试：+3.7个百分点
ARC-Challenge（AI2 Reasoning Challenge）是一个需要模型具备常识推理和文本理解能力的基准测试。Engram在该测试中的表现同样出色，得分提升了3.7个百分点。这进一步表明，通过将局部依赖关系的建模委托给查找表，Engram释放了注意力机制的能力，使其可以更专注于全局上下文的理解和推理，从而提升了模型在需要综合信息进行判断的任务上的表现。
3.4 长上下文处理能力飞跃
Engram对长上下文处理能力的提升是其最引人注目的成就之一。通过将局部模式查找与全局上下文建模分离，Engram极大地增强了模型在“大海捞针”式任务中的可靠性。
3.4.1 Multi-Query NIAH准确率：从84.2%提升至97.0%
在著名的“大海捞针”（Needle in a Haystack, NIAH）基准测试中，模型需要在一个非常长的文档中找到一个特定的、被埋藏的“针”信息。在更具挑战性的Multi-Query NIAH变体中，Engram-27B模型的准确率从MoE基线的84.2%飙升至97.0%。这是一个巨大的飞跃，意味着模型的长文本检索可靠性得到了质的提升。这一改进对于需要处理大量文档、进行深度分析和问答的应用场景具有重大的实际意义。
3.4.2 对长文本检索与推理的增强
Engram之所以能大幅提升长上下文能力，关键在于它改变了模型的信息处理方式。传统的Transformer模型在处理长文本时，注意力机制需要在大量的词元之间进行计算，很容易被局部的、重复性的模式所干扰。而Engram通过查找表高效地处理了这些局部模式，使得注意力机制可以“心无旁骛”地专注于捕捉长距离的依赖关系和全局的语义结构。这种分工使得模型在处理长文本时，既能准确地回忆起局部的细节（通过Engram），又能进行连贯的、有逻辑的全局推理（通过MoE和注意力），从而实现了长上下文检索与推理能力的双重增强。
4. 实际应用与对AI产品开发的影响
Engram模块的提出，不仅在学术研究层面具有开创性意义，更对AI产品的开发和部署产生了深远的影响。它提供了一种全新的思路来构建更高效、更强大、更经济的AI系统，有望推动下一代AI应用的创新。
4.1 潜在应用场景
Engram的独特优势使其在多个领域都具有巨大的应用潜力，尤其是在那些对知识准确性、推理深度和长文本处理能力有高要求的场景中。
4.1.1 知识密集型应用：医疗、法律、金融分析
在医疗、法律、金融等专业领域，AI应用的核心是准确、快速地处理大量专业术语、法规和事实。Engram的O(1)知识查找能力使其成为这些领域的理想选择。例如，一个医疗问答系统可以利用Engram来存储和检索海量的医学知识、药品信息和临床指南，确保回答的准确性和权威性。一个法律分析工具可以利用Engram来快速定位相关的法律条文和判例，辅助律师进行案件分析。在金融领域，Engram可以帮助模型快速理解和分析财报、新闻和市场数据中的专业术语和实体，从而做出更精准的投资决策。
4.1.2 推理密集型应用：代码生成、数学解题、科学研究
Engram在提升模型推理能力方面的显著效果，使其在代码生成、数学解题和科学研究等领域也大有可为。在代码生成任务中，Engram可以存储大量的API用法、代码片段和设计模式，而MoE专家则负责理解复杂的编程逻辑并生成新的代码，两者结合可以大幅提升代码的质量和效率。在数学解题方面，Engram可以记忆常见的公式和定理，而MoE则负责进行多步的逻辑推导。对于科学研究，Engram可以帮助模型快速掌握特定领域的背景知识和实验数据，从而进行更深入的假设验证和理论探索。
4.1.3 长上下文应用：文档摘要、多轮对话、复杂任务规划
随着长上下文模型需求的日益增长，Engram在处理超长文本方面的优势将变得愈发重要。在文档摘要任务中，Engram可以帮助模型在长文档中精准地定位和提取关键信息，生成高质量的摘要。在多轮对话系统中，Engram可以帮助模型更好地追踪对话历史和用户意图，提供更连贯、更智能的交互体验。在复杂的任务规划中，Engram可以帮助模型记忆和检索相关的子任务和约束条件，从而制定出更合理、更可行的执行计划。
4.2 对AI产品开发的影响
Engram的架构设计对AI产品的开发范式、成本控制和未来技术路线都将产生深刻影响。
4.2.1 提升模型性能与效率的新路径
Engram为模型性能的提升提供了一条不同于单纯“堆参数”或“堆算力”的新路径。通过精巧的架构设计，在相同的资源预算下实现更高的性能，这为AI产品的迭代优化提供了新的可能性。开发者可以探索在现有模型中集成Engram模块，以较小的代价获得显著的性能提升，尤其是在推理和长上下文处理方面。
4.2.2 降低对昂贵GPU内存的依赖
Engram在系统设计上的一个巨大优势是其基础设施感知的高效性 。由于其查找索引仅依赖于输入的Token序列，具有确定性，这使得系统可以在运行时进行异步的预取（prefetching）操作 。DeepSeek的研究人员展示了将一个100B参数的Engram嵌入表完全卸载到主机内存（CPU DRAM）中，通过PCIe总线进行数据传输，而推理吞吐量的损失低于3% 。这种将存储与计算解耦的设计，极大地缓解了当前AI部署中GPU高带宽内存（HBM）昂贵且稀缺的瓶颈，使得企业可以用更低的成本部署更大、更强的模型 。
4.2.3 推动下一代稀疏模型架构设计
DeepSeek相信，“条件记忆”将成为下一代稀疏大模型中不可或缺的建模原语 。Engram的成功，预示着未来的模型架构将不再是单一的计算范式，而是朝着更加模块化、功能化的方向发展。未来的模型可能会集成更多像Engram这样的专用模块，分别处理记忆、推理、感知等不同任务，形成一个更加高效和强大的协同系统。这将对AI芯片设计、编译器优化和模型开发框架提出新的要求，推动整个AI生态系统的演进。
4.3 开源实现与社区反响
DeepSeek选择将Engram模块的代码开源，这一举措极大地促进了技术的传播和社区的参与。
4.3.1 GitHub开源代码库
DeepSeek在GitHub上发布了Engram的官方实现代码库，其中包含了论文中描述的核心逻辑和实验设置 。这使得研究人员和开发者可以亲手实验、验证和改进Engram架构，加速相关技术的迭代和发展。
4.3.2 社区对Engram架构的积极评价与展望
Engram的发布在AI社区引发了广泛而热烈的讨论。许多研究人员和开发者对其设计理念和技术实现给予了高度评价。在Reddit、X等平台上，用户普遍认为Engram通过将“记忆”和“推理”职责分离，开启了稀疏性研究的新方向 。许多人对Engram在O(1)查找和GPU内存卸载方面的巧妙设计表示赞赏，认为这为在资源受限环境下部署大模型提供了更实际的解决方案 。社区普遍认为，Engram不仅是一个技术突破，更代表了一种从纯参数扩展向更智能、更高效的架构设计演进的趋势。
