五个基座里藏了一个不姓 Transformer 的。论文 3.1 节点名 Qwen2.5 的 14B 和 7B、Llama-3-8B、OLMo-3-7B，还有 Falcon Mamba-7B，最后这位走状态空间，连注意力都没有。帖子只写「包括 Qwen 与 Llama」，听上去像换个尺寸换个厂商，跨的却是架构；这条线能压住 Mamba 才算真有意思。3.2 节把域内与域外的角色率摆进 probit 坐标，五个基座、几十组超参挤成一条线，账能自己合上，值得记一笔。还有个反例该摆上来，3.4 节试了激活引导，不动权重、只在推理时推一把，斜率并不随深度下降；想改斜率得动训练时改哪几层，顶层三层的拟合值降到 0.37。学习率、权重衰减、训练轮数这些旋钮只让模型沿同一条线滑动，域外错位看着少了，代价是域内也学得差些。拿削弱自己来换安全，这买卖算不算划算，论文给的是一条线，价目表还没人画。下一步我倒想看有人把 Mamba 单独拎出来重画一次，那条线还直不直。