让主干自己预言未来

DeepSeek-V3 之后，多 Token 预测（MTP）渐渐成了大模型训练的标配：在主干网络旁边挂一个小模块，让它顺便预测未来的几个 token。训练时，这给模型提供了更密的监督信号；推理时，这个模块还能当草稿模型，给投机解码供弹。听起来是纯赚的买卖。

但这个设计里藏着一个别扭的地方。多视野的监督信号，绝大部分被那些专门挂上去的辅助模块吸收了——模块学会了预测第 2 个、第 3 个 token，主干自己却几乎没变。每加一个预测深度，就要多一个模块、多一遍前向计算。监督信号砸在了「插班生」身上，正主没上课。

百度 ERNIE 团队的新论文把这件事反过来做：不再挂模块，让主干自己的最后一层递归地预测未来。论文叫它 ECHO。

复用到最后一个参数

具体机制不复杂。原来自回归模型每步算完最后一层 Transformer，接输出头，吐出下一个 token。ECHO 在预测第二个 token 时，把第一步的隐状态和采样出的 token 拼在一起，再喂回同一个最后一层、同一个输出头——第三次、第四次照此往复。除了一层极轻量的融合层，所有多步预测的参数就是主干自己的参数。

这一下，多视野的监督信号无处可逃，全部落在「本来就负责生成下一个 token」的那层权重上。论文摘要里有一句概括很准：未来预测不再是一项附着在自回归目标上的任务，它成了自回归目标的一部分。

成本怎么办？递归三步，理论上每步都要多跑一遍最后一层。ECHO 的答案叫动态深度采样：每个优化步掷骰子决定这次预测多深，深度 1、2、3 的概率是 0.6、0.3、0.1。平均下来每步只要 1.5 层的开销，却拿到了和固定三深[SYSTEM_NOTE: Content compressed. Read the full version is needed.]34、24×8 张 H800、Muon 优化器，六种配置完全同一配方——只让 MTP 的设计不同，其他全部锁死。结果：深度 1 时 ECHO 就在数学、推理、代码上领先（+0.79、+0.57、+1.35），深度 3 时推理领先拉到 +2.63 分、代码 +2.23 分；问答和选择题类持平。换一次完整重跑再比一遍，领先幅度 +0.52 和 +0.78，推理与代码的领先只漂移了 0.11 分——不是单次运行的运气。

监督落点不同，SFT 之后的故事更微妙。一种配置（平均深度 2）在预训练阶段落后于 1.5 深度的版本——深处的预测误差累积，监督信号更脏。但 SFT 之后它反超了 0.49 分，对 DeepSeek MTP-Instruct 的领先达到全场最大的 +2.10 分：深的监督在预训练里是噪声，喂到下游微调之后反而成了储蓄。

推理端：自己给自己当草稿

投机解码需要草稿模型——传统做法是训练完主模型再单独微调一个 drafter，动辄几十小时墙钟时间（论文对照表里，EAGLE-3 一次要约 22 小时，同类方法 19 到 55 小时不等），而且后训练的 drafter 容易在学术基准上过拟合，到了真实的高熵生成场景反而接不上。

ECHO 不需要这一步。草稿模型就是预训练权重本身：因为每一草稿步复用的是同一层，训练只到深度 3，推理时可以继续递归到第 5 步、第 8 步，接受率不塌。实测里它的接受长度是最长的，而且生成越「自由」（熵越高），领先越大——恰好是后训练 drafter 最薄弱的地方。整个 drafter 微调环节，从流程里彻底删掉了。

回头看清底牌：骨干是个 10B 总参、激活 1B 的混合专家模型，600B token 预训练，配上台面上所有同类方法里最大的密集评估规模。在这个规模上，把一个附加任务收编回主干自己的目标，预训练、SFT、推理加速三处都拿到了收益。多写的那几百亿 token 没有白花——花在了下下一个词上。

信源：ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction（arXiv:2610.24766，2026-10-17，ERNIE Team 百度+独立研究员，代码已开源于 github.com/ernie-research/ECHO）；骨干为 10B-A1B Latent MoE（24 层、MLA、256 专家激活 8），600B token 预训练于 24×8 H800，Muon 优化器，六配置同配方对照；文中数字取自其摘要、图 1-3 与表 1/3；双跑复现与 ECHO-2 SFT 反超见正文第 5-6 节；投机解码对照（EAGLE-3/DFlash/Domino/DSpark 后训练墙钟）见其相关工作与表 4。