当模型不再读完就忘：把知识编译进权重的无限参数 LLM

一个你每天都在经历的荒诞场景

想象这样一种工作方式。

你给同事一份 50 页的会议纪要，让他回答第三季度的营销策略是什么。他翻完，告诉你答案。你接着问"那执行预算呢？"——他把那份 50 页的纪要从头到尾又读了一遍。你再问"谁负责落地？"——他又读了一遍。

每问一个问题，重新读一次全部材料。不是因为他记不住，而是因为他的"记忆机制"在设计上就只能这样工作：上下文窗口是唯一的临时记忆，每次推理都从零开始重新读取。

这不是一个假设的荒诞故事。这是今天所有大语言模型（包括 GPT-5、Claude Opus 5、Gemini 3）的真实工作方式。

每次你发消息，模型都把整个对话历史重新过一遍 transformer 层——你之前发的每一段文字、每一个文档、每一次纠正，都被重新编码、重新注意、重新计算。token 越堆越多，推理越来越慢，但模型的权重本身一个数字都没变过。

训练结束后，权重就冻住了。你给它的所有数据，都只能活在 prompt 里，不能活在权重里。

2026 年 9 月，一篇来自 arXiv 的论文提出了一个根本性的不同选择：把运行时数据编译进权重，而不是塞进 prompt（论文编号 2609.18842）。

这个选择看似只是工程细节，但它撬动的是大模型架构最底层的一个假设。

问题到底出在哪

要理解这篇论文在做什么，先得看清它要对抗的是什么。

当前 LLM 处理运行时数据的方式，本质上只有一招：把数据塞进上下文窗口。检索增强生成（RAG）把相关文档拉进 prompt，少样本学习把示例拉进 prompt，系统提示把指令拉进 prompt。所有这些数据，都在 context window 里待着，被每一个新 token 重新读取一次。

这个范式有两个根本性的代价：

第一，计算代价随上下文线性增长。 100K 的上下文，每个生成 token 都要重新 attend 一遍。对话越长，推理越慢，成本越高。

第二，知识在会话结束后就消失。 你和模型聊了三小时，给了它大量领域知识、个人偏好、任务背景。会话一结束，这些全部丢失。下次开新对话，从零开始。

这两个代价的根源是同一个：权重是冻的，数据只能活在 prompt 里。

那能不能在推理时更新权重？理论上可以——test-time training、fast weights 这些方向都试过。但它们要么是点估计（更新一次就固定），要么会碰到灾难性遗忘，要么计算代价高到无法实用。

这篇论文的洞察是：Mixture-of-Experts（MoE）架构其实已经给了我们一个动态权重的入口，只是我们一直没把它用到极致。

从 MoE 到"生成专家"

先回顾一下 MoE 在做什么。

DeepSeek-V3 有 671B 参数，但每个 token 只激活 37B。它的 FFN 层里存了一个"专家银行"（expert bank），每个 token 来了，路由器（router）挑几个专家出来算。换个角度看，这其实就是：模型的权重随输入在变化——不同 token 走不同的权重路径。

但 MoE 有一个关键限制：专家银行是固定的。训练完就定了，部署后不会变。你能选的专家，永远是那 K 个存好的。

论文走出了大胆的一步：不存专家银行，直接从运行时数据生成专家。

具体怎么做？三个组件替换了标准 FFN 层：

1. 共享基础 FFN（frozen base）：一个冻住的基座网络，始终参与计算。 2. 生成器（generator）：一个小型网络，把一个低维隐码 z 映射成一个低秩权重增量 ΔW(z)，叠加到基础 FFN 上。 3. 隐码上的信念（belief over latent code）：不是一个固定的 z，而是一个分布 P(z)，随会话进展不断更新。

每个 token 来了，从当前的信念里取出一个 z，生成器把它变成 ΔW，叠加到基础 FFN 上，算出这个 token 的"专属专家"。算完就丢掉，下一个 token 再生成一个新的。

没有专家银行。每个 token 的专家都是从数据里即时编译出来的，用完即弃。

这就是论文标题里"infinite-parameter"的含义：不是真的有无限多个参数存着，而是从固定大小的足迹出发，能生成的有效权重组合是无限的。

信念，不是点估计

到这里，你可能觉得这不就是一个 hypernetwork 吗？输入 → 生成权重。确实，hypernetwork 不是新概念。但这篇论文的关键创新不在"生成"，而在"信念"。

之前的权重生成器（包括 HyperMoE、MoEGen、SHINE 等）都是一次性生成：读一遍上下文，生成一个 adapter，然后整个会话都用这个 adapter。这是"点估计"——一个确定的 z，一个确定的 ΔW。

论文的核心创新是：不维护一个 z，而是维护一个 P(z)——一个关于"当前应该用哪个专家"的概率分布。

这个区别为什么重要？想象一个侦探在破案。点估计是：看完第一个线索，直接锁定嫌疑人，之后所有新线索都用来确认这个判断。信念更新是：看完第一个线索，你有一个嫌疑人列表和各自的可能性；每来一个新线索，更新这个列表；最终定罪的是那个概率最高的。

具体到 LLM 场景：用户先聊了一个话题（比如"我在研究果蝇的脑连接组"），然后问了一系列问题。点估计的生成器会在第一轮就固定一个 z，之后所有问题都用这个 z 生成的权重。但如果用户中途切换话题（"顺便问一下，Transformer 的注意力机制是怎么工作的？"），固定的 z 就错了。

信念更新则不同：P(z) 会随着每个 token 的到来不断更新。话题切换时，概率质量会从"果蝇"对应的 z 区域迁移到"Transformer"对应的 z 区域。模型在会话中持续特化，而不是一次性定型。

更新规则是一个标准的递归贝叶斯：

其中 \(\ell_t\) 是第 t 个 token 提供的证据，\(\gamma \in [0,1]\) 控制遗忘速度。每 token 的代价是 K 次内积（K 是候选码的数量），和会话长度无关——信念累积的成本是平坦的。

交叉点：什么时候权重赢了 prompt

这篇论文最实用的发现，是一个交叉点。

论文在五个问答数据集上做了对比，从简单到复杂排列：

为什么？因为 prompt 的代价随证据长度线性增长——10 段文档塞进 context，每个生成 token 都要重新 attend 一遍，噪音和干扰项稀释了注意力。而编译进权重的代码，不管原始证据多长，都压缩成一个固定大小的 z，推理代价不变。

这就像短备忘录和长研究报告的区别。短备忘录，你看一眼就记住了，不需要做笔记。长研究报告，你必须做笔记——不是因为你的记忆力差，而是因为笔记让你后续查找时不用重读全文。

编译进权重，就是模型在"做笔记"。短材料不值得做笔记（prompt 直接读更快），长材料必须做笔记（否则每次推理都要重读）。

信念会累积：会话越长，路由越准

论文的第三个关键实验，验证了"信念累积"这个设计的价值。

实验设置：在一个固定的知识池（K 个预编码的 z）上跑多轮对话。每轮对话要么是自包含的（"MuSiQue 数据集是什么？"），要么是上下文依赖的（"它有多难？"——必须知道"它"指什么）。

对比三个方案： 1. 逐问题检索：每个问题独立检索相关段落（无记忆） 2. 拼接历史检索：把对话历史拼接成查询（prompt 式累积） 3. 累积信念：持续更新 P(z)（本文方案）

结果：在上下文依赖的问题上，累积信念的路由准确率随会话轮次上升，而两个检索基线要么持平要么下降（拼接历史会因为查询变长而稀释）。

更关键的是成本：拼接历史检索的每轮代价随轮次线性增长（查询越来越长），而累积信念的每轮代价是常数——K 次内积，和轮次无关。

用更低的成本，拿到了更高的准确率。 这不是工程优化，是架构层面的优势。

这篇论文到底撬动了什么

回到更根本的层面。这篇论文撬动的，是 LLM 架构里一个被默认了十年的假设：训练结束后，权重就该冻住。

这个假设的合理性来自三个方面： 1. 冻住的权重保证推理一致性（同一个输入永远得到同一个输出） 2. 冻住的权重避免灾难性遗忘 3. 冻住的权重让部署简单（一个 checkpoint，到处能用）

但这篇论文指出：这些合理性都是有代价的，代价就是模型无法从运行时数据中学习。而运行时数据——用户给的反馈、领域知识、任务背景——恰恰是让模型真正有用的关键。

论文提出的架构不是推翻冻权重，而是在冻权重之上加了一层"动态层"：基础 FFN 冻住（保留通用能力），生成器冻住（保留编译能力），只有 P(z) 在动。冻的部分保证稳定性，动的部分提供适应性。

这和大脑的工作方式有惊人的相似：皮层（基础 FFN）在成年后基本稳定，但海马体（生成器 + 信念）在每次新经历后都会更新。长期记忆不是靠改变皮层实现的，而是靠海马体重新编码索引。

局限与诚实的边界

论文对自身局限的讨论异常诚实，值得单独说一下。

第一，生成器不能凭空创造知识。 一个小生成器的知识容量受限于它自己的参数量，和大 MoE 的存储知识不在一个量级。所以这个架构不是用来替代大 MoE 存知识的，而是用来处理运行时数据的——它解决的是"prompt 还是权重"的问题，不是"大模型还是小模型"的问题。

第二，优势只在长证据场景。 短而干净的上下文，prompt 依然是最优解。编译进权重有固定的开销（生成器前向传播），证据不够长时这个开销不划算。

第三，当前只实现了离散版本。 信念是 over 一个有限的码池（categorical），而不是连续的高斯分布。连续版本留给未来工作。

这些局限不是缺陷，是设计边界。论文清楚自己在什么场景下赢、什么场景下输，这种诚实本身就是好研究的标志。

工程启示：谁应该关注这个

这篇论文对不同人群有不同的价值：

对 MoE 研究者：你们一直在优化路由器和专家训练，但专家银行是固定的。这篇论文指出了一条新路——专家可以从数据生成，而且信念会累积。这打开了一个全新的设计空间。

对 RAG 从业者：你们一直在和"长上下文推理成本"作斗争。这篇论文提出了一个替代方案——把检索到的文档编译进权重，而不是塞进 prompt。在长文档、多跳问答场景下，这个方案可能比 RAG 更便宜也更准。

对 Agent 系统设计者：Agent 在长 horizon 任务中需要累积大量上下文。当前方案是把历史塞进 context window（贵且会丢）或者外挂记忆系统（检索不准）。信念累积机制提供了一个第三条路：把会话历史编译进权重，用递归贝叶斯持续特化。

对推理基础设施团队：这个架构改变了推理的 cost model。传统推理是 O(context_length) per token，这个架构是 O(K) per token（K 是码池大小），和会话长度无关。长会话场景下，这可能是数量级的成本降低。

个人思考：这为什么重要

我读完这篇论文最大的感受是：它重新定义了"模型学习"的边界。

当前业界对"模型学习"的理解是：预训练（学世界知识）→ 后训练（学对齐和指令遵循）→ 部署（冻住，不再学习）。学习发生在训练阶段，部署阶段只是"用"。

这篇论文说：部署阶段也应该学习。不是通过梯度下降（太贵），而是通过贝叶斯信念更新（便宜且可逆）。模型在每次会话中都持续特化，会话结束后可以选择保留或丢弃。

这和"在线学习"（online learning）不同——在线学习改的是全局权重，会碰到灾难性遗忘。这里改的是 P(z)，一个低维分布，基础权重不动，所以不会遗忘。

也和"test-time training"不同——test-time training 是点估计，更新一次就固定。这里是持续的信念更新，每个 token 都在调整。

这是一个介于"冻权重"和"全量微调"之间的新中间态：足够动态以适应运行时数据，足够稳定以避免灾难性遗忘。

如果这个方向成熟，我们可能会看到一种新的 LLM 架构范式：基础模型负责通用能力（冻住），生成器负责编译运行时数据（冻住），信念系统负责会话内特化（动态）。三层各司其职，冻的部分保证安全性和一致性，动的部分提供适应性。

这不是一个工程优化，是一个范式转变。

论文链接

• 论文：Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
• arXiv HTML 版本：https://arxiv.org/html/2609.18842v1

*这篇论文让我想起费曼的一句话："不是要知道答案，而是要知道怎么重新发现答案。" 把知识塞进 prompt 是"知道答案"，把知识编译进权重是"重新发现答案"——只不过发现的过程被压缩成了一次前向传播。*