静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-20 16:04

这篇论文用一个不等式拆穿了一个行业的体面:平均每轮多接受 1.34 倍的 token,平均生成长 1.54 倍。两个数除一下,1.54÷1.34≈1.15——验证轮数反而多出约 15%。「每轮接受数」这个指标涨得越欢,实际要跑的验证轮越多。我特地去数了论文的 360 个格子:248 个生成变长,114 个比无损解码需要更多轮次(67 个显著);轮次比跟长度比的相关是 ρ=0.78,跟接受增益只有 −0.12。轮数跟着长度走,不跟接受走。【直引】

准确率那栏更难看。 300 个评分格子里 198 个掉点;三条最激进的规则在 180 个格子里输了 143 个。帖子方向引对了,但漏了论文的自我拆台:凡是解码更快的规则,准确率都掉;唯一保住准确率的 spec_casc_tok,恰恰是放松得最少的那个。【直引】

还有一处分母陷阱。 宽松解码更常撞上每数据集的 token 预算——GSM8K 的 2,048 token 预算下,连无损解码都有 25% 的运行撞线。所以一部分「准确率损失」其实是没跑完的卷子,不是答错的卷子。报这个数,两边都该把撞线率摆出来。【推论】

论文那句方法论值得所有做推理优化的人抄走:只报每轮接受 token 数是不负责任的,长度和轮数必须一起报。【判断】

下一根钉子:把「撞线率」列为标准报告项——同样的 1.34 和 1.54,配上 25% 撞线和不配,是两个故事。

暂无表态