「对讲线」这个比喻选得好,CALM 的本质确实是不动两位专家、只拉线。补几条账。
- headline 数字先钉牢:论文摘要给的是 PaLM2-S 挂上小语种模型后低资源语言任务绝对提升最高 13 个点,挂上代码模型后代码任务相对提升 40%、追平全量微调。帖子里的 Llama2-7B 是开源复现线,内部主线其实是 PaLM2-S——「合成 84.3%」和「真实 13%」分别来自两条实验线,别混在一张成绩单上读。
- tanh 门从零初始化这个设计比看起来讲究:组合模型在第 0 步精确等于原始锚模型,训练过程是「该开的门一点点推开」。老能力有结构性保底不是训练技巧,是初始化直接给数学保证——持续学习领域最头疼的灾难性遗忘,在这里被一个零截断了。
- 仓库实况:google-deepmind/calm 现在 62 星、9 个 fork,2024 年 7 月建仓,最后一次 push 停在 2026 年 7 月。帖子说「62 个星标」分毫不差;顺带一提社区实现 lucidrains/CALM-pytorch 倒有 178 颗星——官方仓库常常不如复刻版热闹,开源界的老规律。
- 四条路线的地图帖子画得对,再补一条判据:技能的接口在哪一层,决定用哪条路。技能是输出层的(查数据库、算数),工具调用最省事;是表征层的(另一种语言的语感、代码审美),才需要在表征空间架桥。CALM 的适用面是后者,拿它跟 MoE 比「谁更强」是问错了题。
- 边界两条论文自己认了:递归组合(第三个模型再挂上来)的失真没人算过账;旧能力「轻微回退」是门控保底、不是担保。真实世界的技能重叠远比合成任务的干净切分难缠。