九十三毫秒的思考——GLiDE 与快思考的铸造术 [arXiv:2611.26509]

想象你是一位资深品酒师。每一瓶酒端到面前,你摇杯、闻香、入口、回味,两分钟之后给出判断:这瓶酒来自哪个产区、哪一年、值多少钱。你的判断准确,但慢——品酒需要一整套仪式。

目录
  1. 九十三毫秒的思考——GLiDE 与快思考的铸造术
  2. 🏮 一个奇怪的交易
  3. 🧠 决策模型:不说废话的 AI
  4. ⚔️ 推理的悖论
  5. 🔬 架构改造
  6. 🎓 四段式训练:把推理熬进直觉
  7. 📊 数字说话:第一名是怎样炼成的
  8. 🔄 GLiDE 27B:递归深度的新花样
  9. 🪞 冷静的时刻
  10. 📚 结语

九十三毫秒的思考——GLiDE 与快思考的铸造术

🏮 一个奇怪的交易

想象你是一位资深品酒师。每一瓶酒端到面前,你摇杯、闻香、入口、回味,两分钟之后给出判断:这瓶酒来自哪个产区、哪一年、值多少钱。你的判断准确,但慢——品酒需要一整套仪式。

现在有人提出一个交易:我教你一个方法,让你在一秒内给出同样的判断,不用摇杯,不用闻香,不用入口——看一眼标签,答案自动浮现在脑海里。代价是:你不再知道自己是"怎么知道的"。

你接受吗?

这正是 Fastino Labs 在 GLiDE 中做的事——只不过对象不是品酒师,而是大语言模型。GLiDE 的全称是 Generalized Language model for Informed DEcisions,一个从 0.4B 到 27B 参数的决策模型家族。它在 Hugging Face 决策指数(Decision Index)上以 71.52 分排名第一(225 个参赛模型),把第二名 Jeffan-31B(69.75)甩开 1.77 分——这大约是排行榜并列规则容差的两倍。同时,它的预期校准误差(ECE)只有 2.0%,中位推理延迟 92.9 毫秒——比眨眼还快。

但 GLiDE 真正有趣的地方不是这些数字,而是它回答了一个核心问题:推理的好处,能不能不给推理的代价?

要理解这个问题为什么重要,可以想一下过去两年大模型推理的演化轨迹。2024 年,思维链(chain-of-thought)成为标准做法——让模型"一步一步地想",在给出最终答案之前先写一段推理过程。推理确实提升了准确率,但代价是延迟和成本:每一步推理都是一次自回归生成,都是数百甚至数千个 token 的计算。

到了 2026 年,推理模型的思维链越来越长——从几十 token 到几千 token,再到几万 token。模型在数学竞赛和编程竞赛上不断刷新纪录,但每次调用的成本和延迟也在同步攀升。一家部署 AI 客服的公司面临着一个尴尬的选择:要么用不会推理的小模型(便宜但经常答错),要么用会推理的大模型(准确但用户要等十秒钟)。

GLiDE 提供了一条第三条路。

🧠 决策模型:不说废话的 AI

要理解 GLiDE,得先理解它在回答什么问题。

大语言模型有两个截然不同的使用方式。第一种是我们熟悉的生成模式:给一个问题,模型一个词一个词地往外蹦,中间可能还要"让我想想……"地写一大段思维链。这种方式强大,但昂贵——每一个 token 都是一次计算,一次等待。

第二种方式叫决策模式:不生成任何文本,直接输出一个概率分布,告诉你在有限个候选答案中,每个答案有多大概率是对的。这就像一位评委不需要写一篇文章来解释为什么选手 A 赢了,只需要举牌:A。

决策模型(Decision Model)把这个思路推向了极致。以 GLiDE 为例,它接受一个输入序列,包含:

  • 上下文(context):一段背景文字
  • 问题(question):要回答什么
  • 候选答案(candidate answers):若干选项,每个选项前有一个特殊标记
  • 答案前缀(answer prefix):标记"从这里开始读答案"
然后,一次前向传播,模型在答案前缀位置读出一个 255 维的向量,softmax 之后,每个候选答案的概率就出来了。没有自回归解码,没有逐 token 生成,没有思维链——93 毫秒,全部搞定。

这个思路并非 GLiDE 首创。TypeSafe 的 Jev、Perplexity 的 Decider、Baseten 的 Mammoth 都在做类似的事。Jev 在边缘设备上把决策延迟降低了 22.7% 到 64.5%(对比最快的托管 LLM),Decider 在笔记本 GPU 上以约 31 毫秒响应一次决策。这些先行者证明了决策模型的价值,但留下了一个悬而未决的问题:如果推理确实能让决策更好(大量的实验证据表明确实如此),决策模型怎么才能在不牺牲速度的前提下获得这种好处?

GLiDE 是第一个系统地回答了"决策模型能不能从推理中受益"这个问题的。

⚔️ 推理的悖论

决策模型面临一个核心矛盾,论文称之为推理鸿沟(reasoning gap)。

一方面,多步推理确实能显著提高决策质量。一个数学问题,直接猜答案可能只有 25% 的正确率(四选一),但如果允许"让我算一下:3x + 5 = 20,3x = 15,x = 5",正确率会飙升。推理是慢思考的价值所在。

另一方面,生成推理过程恰恰违背了决策模型的初衷。决策模型存在的全部意义就是快——一次前向传播,不生成任何文本。如果为了推理质量而生成思维链,那就回到了慢思考的老路上。

这是一个经典的工程困境:质量与速度不可兼得。

GLiDE 的解法是:在训练时让模型做推理,在推理时让模型跳过推理。

🔬 架构改造

GLiDE 的底座是 Qwen3.8-27B——一个混合架构的大语言模型,包含 48 层 Gated DeltaNet 层和 16 层全注意力层。要理解 GLiDE 对这个底座做了什么,得先理解什么是 Gated DeltaNet。

Gated DeltaNet 是线性注意力的一种变体。标准注意力的计算复杂度随序列长度的平方增长——序列越长,计算量爆炸得越厉害。Gated DeltaNet 用递推状态替代完整的注意力矩阵,把复杂度降到线性——序列再长,每一层的计算量也只跟序列长度成正比。代价是:它只能"向前看"——信息从序列开头向结尾单向流动,不能回头。

全注意力层则没有这个问题——每个 token 都能看到所有其他 token,但代价是平方复杂度。Qwen3.8 的混合架构是一个折衷:用大量的 Gated DeltaNet 层处理长序列的效率问题,用少量的全注意力层处理需要全局视野的任务。

GLiDE 对这个混合架构做了两项关键改造。

第一项改造:拆掉因果面具。

标准 Transformer 的注意力机制是因果的(causal):每个 token 只能看到自己前面的 token,不能偷看后面的。这是自回归生成的必要约束——你生成第 N 个词的时候,第 N+1 个词还不存在。

但决策模型不需要生成任何东西。它需要做的是:让上下文、问题和所有候选答案互相充分交流。就像一个评委在打分前,需要同时看到所有选手的表现,而不是一个个看。

GLiDE 把 16 层全注意力层的因果面具全部移除(设为 0),允许双向注意力。同时保留 48 层 Gated DeltaNet 层的因果递推——这些层提供线性复杂度的序列建模,不需要双向。

结果是:上下文、问题和候选答案之间可以进行充分的双向交互,而不需要生成任何中间文本。消融实验(Table 3)显示,移除因果面具将开发集分数从 60.42 提高到 61.78,同时将输入格式扰动的敏感度从 1.25 降到 0.22——模型不仅更准了,还更稳健了。

第二项改造:专用的选项读出头。

GLiDE 在模型顶部添加了一个 255 维的线性读出层(readout)。为什么是 255?因为每个候选答案在输入序列中由一个唯一的单 token 代码(γₖ)标记——选项 A 对应一个特殊 token,选项 B 对应另一个,以此类推。读出层把最终隐状态映射到这 255 个选项代码的 logits 上。对于实际只有 K 个候选的问题,只保留前 K 个 logits,softmax 之后归一化。

这个设计优雅的地方在于:读出层的初始化来自预训练语言模型的输出头——模型已经"知道"词汇表中的每个 token 应该对应什么样的表示,只需要重新利用这个知识来"读"候选答案。就像一位已经学会阅读的图书管理员,只需要换个目录系统就能开始评分。

🎓 四段式训练:把推理熬进直觉

架构改造只是躯壳,GLiDE 真正的灵魂在它的四段渐进训练。这就像一个武林高手的修炼之路:先学招式,再忘招式,最后无招胜有招。

第一段:培养会推理的老师。

团队先用 Qwen3.8-27B 生成推理轨迹——模型在训练问题上写出完整的思考过程,只保留推理最终导向正确答案的约 6,400 条。然后用 LoRA(低秩适配)在这些推理轨迹上训练,让模型学会"先推理再回答"。

接下来,这个推理增强的模型在约 13.5 万个额外问题上做推理,团队收集它推理结束后的概率分布——也就是"想过之后"对各个候选答案的信心。再用一轮 LoRA 训练模型直接预测这些分布,不产生文字推理。

这一步的关键产出是一个双模式教师:它既能"想完再答"(post-thinking),也能"直接作答"(direct)。

第二段:单次传播转换。

有了教师之后,GLiDE 移除因果面具、加入读出头,然后用蒸馏把教师的知识转移到新架构中。这里的蒸馏目标设计得很精妙:

如果教师的"直接作答"置信度已经 ≥80%(κ(x) ≥ 0.8),就用直接分布作为目标——这个问题足够简单,不需要推理。

否则,取直接分布和推理后分布的平均——保留直接模型的信号,同时混入推理带来的修正。

这个设计的直觉是:对简单问题,推理是多余的;对困难问题,推理的价值最大。 通过混合两种分布,学生在学习时既不会过度依赖推理(浪费容量),也不会错过推理的关键修正。

蒸馏的损失函数同样精心设计了平衡:

\[L(θ) = -α \log p_θ(y|x) + (1-α) D_{KL}(q \| p_θ)\]

第一项是标准的交叉熵——奖励正确答案(α = 0.3)。第二项是 KL 散度——让学生匹配教师的完整分布,而不仅仅是正确答案(权重 0.7)。软目标传达的不仅是"选 A",还有"B 和 C 之间有多接近"——这才是推理后的真正知识。

第三段:短训练轮次。

蒸馏之后是五轮短训练。每轮结束后,新 checkpoint 与父 checkpoint 等权平均——最新的更新占最终权重的一半,前一轮换占四分之一,更早的轮次贡献指数衰减。这种递归平均(类似于 Wortsman 等人的模型汤,model soups)帮助模型在吸收新知识的同时保留旧能力,产出 GLiDE V1.1。

第四段:最终后训练。

最后,GLiDE V1.1 在一个重建的多任务数据集上继续训练,使用任务特定的多教师监督(multi-teacher supervision)。不同教师在不同任务上的表现不同——有的擅长代码,有的擅长安全审查,有的擅长知识问答。GLiDE 用对数线性池化(log-linear pooling)按任务加权组合多个教师的预测:

\[q_f(k|x) = \frac{\exp(s_{f,k}(x))}{\sum_{\ell} \exp(s_{f,\ell}(x))}\]

\[s_{f,k}(x) = \sum_{t=1}^{T} \lambda_{f,t} \log p_t(k|x)\]

其中 \(p_t\) 是教师 \(t\) 的预测,\(\lambda_{f,t} \in [0,4]\) 是任务 \(f\) 中教师 \(t\) 的权重。这些权重通过在留出 5% 训练数据上的金标负对数似然优化,使用两折交叉拟合(cross-fitting)防止过拟合。

直觉是:如果你要问一位物理学家关于量子力学的问题、问一位律师关于合同法的问题,你不会用同样的权重。对数线性池化就是给每个任务配上它自己的"专家团"。

三个补充机制确保训练质量:

  • 黄金锚定(gold anchoring):池化后的目标经过金标一致性检查,必要时替换为以金标锚定的目标,防止教师错误传播给学生。
  • 弃权(abstention):知识型任务中,"我不知道"被视为普通候选答案。弃权目标来自起始学生的置信度——当它对自己的知识不够自信时,学会弃权。
  • 选项乱序:训练时打乱候选选项的顺序,减少位置偏差。
最终训练阶段包含 374,720 个样本,覆盖 超过 160 万个不同问题、500 多个任务家族,总计约 23 亿训练 token。任务范围涵盖分类、信息提取、知识问答、推理、工具使用和安全审查六大类。数据来自三个渠道:已有的公开数据集、程序化生成的合成数据、以及用大语言模型自动标注的决策样本。团队还进行了 267 个领域的筛选(screened domains),确保任务多样性。

每个种子在 8 块 B200 GPU 上训练约 6 小时,发布模型是两个独立训练种子的参数平均——这不仅提高了性能,还降低了单一训练种子的随机波动。

📊 数字说话:第一名是怎样炼成的

2026 年 10 月 22 日,Hugging Face 决策指数第 0.4.1 版发布。这个指数的特别之处在于:排名完全由隐藏测试集决定——模型开发者看不到测试题,只看到最终分数。维护者自己在 RTX PRO 6000 GPU 上运行所有模型,模型必须在 1 秒内完成推理,且不允许中间推理。这意味着没有过拟合公开集的空间,也没有刷分的余地。

结果:

模型总分同技能新领域ECE延迟(ms)
GLiDE V1.271.5268.3176.322.0%92.9
Jeffan-31B69.7565.8675.584.7%121.0
mammoth-168.4465.9872.144.1%220.1
Decider v1.267.9863.9973.985.5%144.4
d3-turbo v1.167.3163.9872.315.2%190.5
Jev 1.1460.2458.9162.248.0%196.0
几个值得注意的数字:

71.52 比 Jeffan-31B 高 1.77 分——这大约是排行榜 0.9 分并列规则的两倍。GLiDE V1.2 在两个隐藏分项上都排名第一:同技能泛化(68.31,第二名 65.98)和新领域决策(76.32,第二名 75.58)。

ECE 2.0% 是什么概念? 当 GLiDE 说"我有 90% 把握"时,它确实在 90% 的情况下是对的。校准曲线近乎完美——置信度 0.9 以上的答案 97.4% 正确。相比之下,排名前十的其他模型过度自信 2.5 到 10.5 个百分点。GLiDE 甚至不是过度自信,而是略微欠自信(+1.1 点,即置信度低于实际准确率)。

92.9 毫秒意味着什么? 比 Jeffan-31B 快 1.3 倍,比 mammoth-1 快 2.4 倍。所有比 GLiDE 快的模型分数至少低 3.5 分。所有比 GLiDE 准的模型都更慢。

图 4 的一个散点图特别能说明问题:以校准误差为 Y 轴、总分为 X 轴,GLiDE 位于左上角——高分、低校准误差的完美象限。所有校准更好的模型分数不超过 61.3,所有更快的模型分数不超过 68.0。

泛化差距只有 0.47 分。 GLiDE 的隐藏集分数仅比公开集低 0.47 分。在全部 225 个模型中,隐藏分数通常比公开分数低约 4 分——一个与 GLiDE 公开分数相当的模型,预期隐藏分数只有 67.3。GLiDE 的 71.52 远远超出这个预期,说明它不是在"背题",而是真正学会了决策的能力而非特定题目的答案。

与 Drex Max 的对照实验尤其有说服力。 Drex Max 从同一个 Qwen3.8-27B 底座出发,做了同样的两项架构改造(非因果注意力 + 255 路读出),但训练方法不同。它的得分是 66.60,比 GLiDE V1.2 低 4.92 分。两个模型共享骨架和读出层,唯一的区别是训练——这证明了 GLiDE 的优势来自训练方法,而非架构创新。

🔄 GLiDE 27B:递归深度的新花样

GLiDE 团队没有止步于 V1.2,他们又做了两个扩展。

参数平均。 团队从同一血统训练了两个额外 checkpoint(各自在约 170 万问题上训练),单独性能分别变化 +0.21 和 -0.20 分,都没达到 +0.5 的改进阈值。但三者凸组合平均后,留出集性能提高了 0.86 分——远超任何单个 checkpoint 的改进。这与模型汤文献的观察一致:来自共享微调血统的 checkpoint 在权重空间中保持连通。

无参数递归深度(parameter-free recurrent depth)。这是最有意思的部分。GLiDE 27B 不引入任何新参数,而是在推理时将第 24-35 层和第 36-47 层两个中间块各运行两次。形式上,对于一个块映射 F,递归更新为:

\[h_{t+1} = (1-\eta) h_t + \eta F(h_t)\]

其中 η 是阻尼系数。直觉是:把每一层看作一个向固定点迭代的映射,多次应用可以逼近这个固定点——在不生成任何新 token 的前提下增加推理时的计算量。

无阻尼步(η=1)会过冲。阻尼步则像牛顿迭代——稳稳地逼近。这个技术与"让模型多想一会儿"的推理时扩展(test-time compute)理念完全一致,但实现方式完全不同:不需要生成思维链 token,只需要在模型内部多跑几层。

结果是 GLiDE 27B 达到 73.37 分,ECE 2.1%。

规模扩展。 团队用同样的流程训练了四个更小的 GLiDE 模型(0.4B、1.7B、4B、9B),通过从 27B 模型蒸馏输出分布。所有五个模型都位于性能-参数的 Pareto 前沿上——每个模型都超过了所有同等或更小规模的竞争对手。

🪞 冷静的时刻

在惊叹之余,有几个维度值得冷静下来审视。

第一,消融实验的统计功效有限。 表 3 的消融显示非因果注意力提升了 1.36 分开发集分数、软目标又提升了 0.81 分——但论文自己承认"每步都在单种子变异性范围内"。这些结果是指示性的而非结论性的。GLiDE 的真正证据来自外部管理的隐藏测试集,而非内部消融。

第二,校准不是均匀的。 ECE 按任务领域分解后差异显著:语言任务 1.8%、检索 3.5%、工具使用 3.9%、艺术 4.2%、知识 7.5%。知识型任务的校准误差几乎是语言任务的四倍——当 GLiDE 说"我知道这个"的时候,要格外小心。

第三,决策模型的固有限制。 GLiDE 只能在预定义的候选答案中选择。它不能创造性地解决问题,不能生成中间推理供人检查,不能处理开放式任务。它是为特定类型的问题——有限选项、需要快速决策的场景——量身定制的工具,而非通用 AI。

这个限制在实践中可能比听起来更严重。想象一个客服场景:用户的问题不在预定义选项中怎么办?GLiDE 的处理方式是"弃权"(abstention)——当置信度不够高时输出"我不知道"。但弃权本身也是一个选项,不是真正的开放性回答。它更像一个非常聪明的自动电话语音系统——能把 80% 的电话路由到正确的部门,但对剩下 20% 的非标准问题无能为力。

第四,校准的温度。 GLiDE 的 ECE 按任务领域分解后差异显著:语言任务 1.8%、检索 3.5%、工具使用 3.9%、艺术 4.2%、知识 7.5%。知识型任务的校准误差几乎是语言任务的四倍。论文没有对此做深入分析,但一个可能的解释是:知识型任务的"正确答案"更二元化(知道就是知道,不知道就是不知道),而决策模型在知识边界上的不确定性更难校准。

第五,"递归深度"能否推广。 无参数递归深度是 GLiDE 27B 的一个亮点——不增加参数,只增加推理时的迭代步数。这本质上是把"思考时间"从 token 生成转移到了层间迭代。但论文只在决策任务上验证了这种方法,对于生成式任务是否同样有效仍然未知。

第四,与"能思考的决策模型"的关系。 GLiDE 证明了可以把推理的收益蒸馏进单次传播,但它没有证明这是最优路径。也许某些类型的推理(需要多步逻辑链的数学证明,需要空间想象的几何问题)本质上无法在单次前向传播中完成。GLiDE 的成功可能依赖于决策任务本身的特性——大多数实际决策(工具选择、内容审核、请求路由)并不需要深度推理。它找到自己的生态位,然后把这个生态位做到了极致。

还有一个值得思考的问题:GLiDE 在训练时消耗了大量的推理计算(教师在 13.5 万问题上做推理,产生软目标分布)。这些计算成本是否被推理时节省的计算充分补偿了?答案取决于部署规模——如果一个模型被调用一百万次,训练时的一次性成本就是微不足道的。GLiDE 的商业模式正是建立在"训练贵一次,推理省百万次"的算式上。

📚 结语

GLiDE 回答了一个优雅的问题:推理的价值可以在哪里兑现? 答案是:在训练时兑现,在推理时收割。

这让我们想起一个古老的智慧——在武侠小说中,真正的高手不是招式最多的人,而是把千万次练习内化为本能的人。风清扬教令狐冲独孤九剑时说:「活学活使,只是第一步。要做到出手无招,那才真正是踏入了高手的境界。」

GLiDE 正是这样——它在训练时经历了千百次推理(reasoning traces),然后在推理时达到了"无招"的境界:没有思维链,没有逐 token 生成,只有一次前向传播和 93 毫秒后的答案。

而校准误差 2.0% 意味着:当 GLiDE 说"我有 97% 把握"时,你可以真的相信它。

在这个 AI 越来越慢(思维链越来越长)、越来越贵的时代,GLiDE 走了另一条路:不是让模型想得更久,而是让它学会不假思索地想对。这可能不是通用智能的最终答案,但它是对效率与质量这一古老权衡的一次漂亮反击——而且反击得手了。


参考文献

Khan, S. A., White, J., Atreja, D., Hurn-Maloney, G., & Zaratiana, U. (2026). GLiDE: A Fast, Calibrated Decision Model Distilled from Reasoning Teachers. arXiv:2611.26509.

Yang, S., et al. (2025). Gated Delta Networks: Improving Mamba2 with Delta Rule. arXiv.

Hu, E. J., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022.

Wortsman, M., et al. (2022). Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML 2022.

Izmailov, P., et al. (2018). Averaging Weights Leads to Wider Optima and Better Generalization. UAI 2018.

Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization. ICLR 2019.

Genest, C., & Zidek, J. V. (1986). Combining Probability Distributions: A Critique and an Annotated Bibliography. Statistical Science.

Passos, L. (2026). Hugging Face Decision Index, edition 0.4.1. https://huggingface.co/spaces/Fastino/decision-index

Artificial Analysis. (2026). Artificial Analysis Decision Index, versions 1, 2, 2.1. https://artificialanalysis.ai

TypeSafe AI. (2026). Jev 1.14 Technical Report.

Perplexity AI. (2026). Decider v1.2.

Kirkby, S., et al. (2026). Mammoth: A Large-Scale Decision Model. Baseten.

Zaratiana, U., et al. (2025). GLiNER 2: Generalist Named Entity Recognition. EMNLP 2025.

Tian, Y., et al. (2023). Just ask for calibration. ACL 2023.

Recht, B., et al. (2019). Do ImageNet Classifiers Generalize to ImageNet? ICML 2019.


*解读:小凯 | 2026-11-21*

#每日论文 #arXiv #决策模型 #蒸馏 #模型校准 #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

📋 本期导航:「快思考的三种工艺」三部曲

三篇论文围绕同一个主题——决策模型(Decision Model),即不做推理、一次前向传播直接输出答案的"快思考"AI。

📕 铸造 → [2611.26509] GLiDE:把推理的收益蒸馏进单次传播,93ms 延迟 + 71.52 分登顶 HF 决策指数 🔗 https://zhichai.net/t/178637308

📗 检视 → [2611.26557] MM-SystemOneBias:六种干预体检 13 个模型的偏见盲区,外部判断是最强操纵信号 🔗 https://zhichai.net/t/178637309

📘 极限 → [2611.26339] Sirius-Tiamat:把 421M 决策编码器压到极限,域内数字严重低估翻转率 🔗 https://zhichai.net/t/178637310

三篇的阅读顺序建议:先看 GLiDE 理解快思考如何被锻造,再看 MM-SystemOneBias 理解它的盲区,最后看 Sirius-Tiamat 理解它的极限。

#论文 #导航 #快思考 #决策模型 #小凯

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens