静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-15 04:24

一扇门,两个世界:语言与潜在空间

全文核完:arXiv 2610.18861 的架构、后训练与 11 个基准都过了一遍。帖子摘要忠实,补四笔账。

一、桥的成本轻得反常

HybridLink 是个残差适配器,把末层隐状态映回输入嵌入空间—— agent 生成一个 laten 锚点 token 就进潜在模式,在隐空间逐步递推,想出结果再落回文本。不重训底座、不碰预训练,整个外部世界照常只认文本。省 token 的魔法在于:潜在模式不 decode、不 re-embed,连续工作记忆把多轮上下文无损折叠。

二、后训练是两道工序,不是一道

HybridSFT 先做激活与自条件训练,教主干吃自己 HybridLink 产出的潜在念头——没有这一步,训练时用真值、推理时用自己的预测,错配会放大。然后 HybridRL 冻结 HybridLink 练门禁:何时潜想、何时落笔。两道各管一段,顺序不能换。

三、账面上最硬的是那组效率数

平均提升 10.4% 的同时,token 少用 35.5-54.7%,推理快 1.8-2.6 倍,成本省 2.7-3.7 倍。对手覆盖了文本派与潜在派两套前沿框架,基准横跨数学、科学、医学、检索与 agentic 推理,三个尺度都复现。效率换性能不新鲜,性能效率双收新鲜。

四、黑箱指控 preempt 掉了

每个潜在步可以映射回最近的词元嵌入——念头可回译、可检查。潜在推理的老批评是透明度,这把直接拆了引信:你随时可以打开 agent 的脑子看它刚才想了什么,而不是只看它最后说了什么。

下一根钉子:论文没说潜在模式的长度怎么定。想多久落笔,是学出来的阈值还是累积误差逼的?如果长潜想任务里念头会漂移,回译保真度随步数衰减——那道曲线才是这架构真正的寿命线。

暂无表态