两个各考零分的模型，接起来考了 84 分

两个语言模型，单独面对同一份综合测验，一个考 0.7%，一个考 0%。把它们接起来重新进考场：84.3%。

这不是团队合作的鸡汤，是 ICLR 2024 论文《LLM Augmented LLMs: Expanding Capabilities through Composition》里的真实实验。论文来自 Google DeepMind 和印度科学学院，方法名叫 CALM——Composition to Augment Language Models，用组合来增强语言模型。

先把丑话说在前面：84.3% 出自论文设计的合成键值算术任务，不是通用能力的成绩。但正因为是受控的合成任务，它把「组合为什么有效」这件事的机制露得干干净净。这个机制值得从头上讲。

一半本事，一张综合卷

合成实验是这样设计的：拿两个 GPT-2，各自只训练一种技能——模型 A 学会了键值推理任务 V1，模型 B 学会了任务 V2，谁也没见过完整的多步任务。然后出一张综合卷 V3，把两种能力串在一起考。

结果全在预期之内，又全在情理之外：A 单独考 0.7%，B 单独考 0%，两个都是废柴。可一旦用 CALM 把它们接起来，同一场考试，84.3%。

每个模型都只带着半桶水进场，为什么倒出来是一桶？

答案藏在「废柴」这两个字的准确含义里。A 不是笨，是它会的技能恰好不在考卷上；B 也一样。两份「半份答案」各自残缺，但残缺的位置不重叠——A 缺的正是 B 多的。组合要做的，就是在推理的每一刻，让 A 能随时翻看 B 的「笔记」，把它那半份本事借过来用。

问题是怎么借。

三条老路和第四条路

让模型获得新本事，常规打法有三条。重训一个全能模型，把所有技能塞进一次预训练——最彻底，也最贵。在老模型上微调——便宜些，但老本行常常越学越忘，这也是持续学习领域最头疼的老毛病。权重合并——把两个模型的参数直接揉在一起，数学上漂亮，但它要求两个模型同源同构，一个 7B 的 Llama 和一个别家训的小语种模型，参数根本对不上号，揉不动。

CALM 走了第四条路：两个模型都冻住，一个参数都不改，只在它们中间训一个轻量的「接头」模块。

具体说，主模型在推理的每一层都装上交叉注意力——这个词当场解释一下：普通的自注意力是模型内部各位置互相看，交叉注意力是主模型的每个位置「环顾」另一个模型的全部内部表征，按当前内容的相关性取用。A 在算每一步时，都能顺手查一查 B 那边对同一句话的理解，把有用的信号拿过来。

两家的内部表征「语言」不通——不同模型对同一个词造出的向量天差地别——所以接头里还配了表征投影层做翻译。翻译过来的信号不直接覆盖 A 的想法，而是通过门控残差轻轻加在旁边：每个通道有一个可学习的 tanh 门，训练开始时全部关死在零。也就是说，组合模型的初始状态精确等于原来的 A，一无所知地出门，然后随着训练，让该开的门一点点推开。

整个设计像是不给两位专家重新上课，只在他们的办公室之间拉一条对讲线。线是新的，两位专家的原有本事分毫未动。

换成真模型还灵吗

合成任务干净，但终归是玩具。论文在真实模型上做了同样的实验。

最漂亮的一组：主模型 Llama2-7B，英语扎实，小语种几乎不会；对接的增强模型是专攻低资源语言的 MaLA-500，会说十来种小语种，但英语一塌糊涂。两个「偏科生」接起来，小语种任务最高获得 13 个百分点的绝对提升，而英语成绩不丢。数学推理和代码任务上的实验也呈现同方向的改善——强项之外长出了新枝，强项本身留在原地。

这正是「权重不动」这份保守换来的东西：老能力有结构性保底，而不是被训练过程慢慢磨掉。

门后还有门

边界也要说清楚，视频作者在这点上很诚实，论文自己也认账。

84.3% 是合成任务上的数字，不能直接外推成「组合模型普遍变强」。真实世界的技能重叠远比合成任务复杂，两个模型会的部分互相纠缠时，接头该借什么、不该借什么，比实验里难得多。论文遗留了两个没有完整解决的问题：旧能力在某些任务上仍有轻微回退，门控是保底机制，不是担保机制；递归组合——当第三个、第四个模型也想接上来时，接头叠接头，信息经过一道道翻译会不会层层失真，论文没有给出完整答案。

把 CALM 放进更大的图景里看，模型组合其实有四条路线：权重合并是在参数空间里揉，MoE 是训练时就让专家们同门共读、推理时按需路由，工具调用是在输出层让模型互相接力，CALM 则是在内部表征层架桥。四条路各有各的代价，CALM 的位置在于：它把「获得新能力」的成本从重训一个模型，降到了训一个接口。

所以「继续堆规模」还是「走向组合」，可能从来不是二选一。规模决定两个模型各自那半桶水有多深，组合决定水能不能倒到一起——而 CALM 证明的是，倒水这件事，靠一条对讲线就够了。

论文和代码都公开：arxiv.org/abs/2401.02412，github.com/google-deepmind/calm。仓库 62 个星标，还不到它启发后人的零头。