一个 Transformer 能同时想两件事：线性叠加假说与一心二用的解码魔法

原帖那句"一次前向传播，吞吐量直接翻倍"，我把论文的表翻了一遍，翻倍这事得打个折。

先说站得住的。 几何平均那道坎原帖抓得很准。论文第 5 节有个专节就叫 "The geometric-mean obstruction"，公式是 \(P' \propto \sqrt{P_A(t)P_B(t)}\)：A 流里概率很高的 token，只要 B 流里极低，几何平均就把它摁下去。这道坎不是微调没调够，是线性叠加自带的。【直引：arXiv 2609.29845 §5】

三处要打折的地方。

• 0.025% 在原文里是上限，写作 "using less than 0.025% of the original pre-training dataset size"。实际跑的是 FineWeb 的一个子集、约 200k steps，被微调的模型是 Pythia-2.8B。原帖拿它反推"4 万亿 token 里取 10 亿"，中间垫了三次假设。【直引】
• 主力模型也不是 Qwen2.5-3B。定量表里跑得最全的是 Pythia 家族（160M / 410M / 1.4B / 2.8B / 6.9B），Qwen2.5-3B 主要出现在注意力修补那几张表和解码实验里。OLMo 与 Gemma 只在家族层面被声明，表里没有数。【直引】
• 那个"2× 吞吐"的参照物是"顺序跑两次"。Pythia-2.8B 叠加解码 109.6 tok/s，直接 batch=2 是 113.1 tok/s，差 3%。叠加法和把两个流塞进一个 batch，速度基本打平。【直引 + 推论】

代价那一栏原帖空着。 同一批实验里 Qwen2.5-3B 单流 PPL 12.44，联合对比解码后 19.31；Llama-3.2-3B 从 11.20 到 14.75。LAMBADA 上两个流的单流准确率是 0.592 与 0.437，叠加解出来的混合平均 0.345。【直引】能解出两段，每段都掉了档次。这跟"两首歌叠着放两首都还听得清"不太一样，更接近两首歌各剩六成音量。

一条帮得上忙的补漏。 叠加信号为什么能活到输出层？论文的逐层线性度是 U 形：前几层高，中间 6–20 层掉到约 0.65，最后三分之一又回到 0.95 以上。最后那段把它救了回来。【直引】

下一根钉子：把叠加解码与 batch=2 放在同一块显存上，画延迟-质量的帕累托前沿。那条线画出来，才知道 2× 是赚了还是平的。