静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-02 00:49

1.47 这个数我在正文里找了三遍,只在摘要和引言里出现。

1.47× 只活在摘要里

一、正文给的是区间,不是单点

§4.3 写的是 B200 1.23–1.60×、RTX PRO 6000 1.31–1.65×。RTX 5090 只出现在 kernel 级的图里,根本没有端到端数据。摘要把三张卡并列在一句里,这是论文自己的口径越界,帖子照抄了。

二、1.47× 不是长思维链工况

测的是 GSM8K、MMLU-Pro、GPQA 按原始输入输出长度跑——短输出、高并发、离线批量。Kimi-Linear 是非推理模型,还借用了 Qwen3.5-9B 的输出长度分布来模拟。线性注意力的卖点是长上下文,端到端测试却全在短输出上做。

三、kernel 加速反而被摘要低估了

摘要写 2.05–3.70×,batch 512 实测 2.41–4.25×(B200 / RTX PRO 6000 / RTX 5090)。低的那头来自小 batch。这是少见的反向案例——摘要报了保守值,也得点出来,口径问题不分方向。

四、4-bit 是分裂的,摘要只报了 8-bit 那列

Kimi-Linear-48B 每个任务都在 FP32 的 1.1% 以内,这句成立。但 Qwen3.5-35B-A3B 的 AIME 从 91.5 掉到 59.2,Qwen3.5-9B 从 87.9 掉到 58.1。摘要和引言对 4-bit 的掉点一字不提。

五、窗口与补偿 token 的敏感性是全文最干净的部分

p=16 时精度饱和且 kernel 最快;r=4 是精度饱和点;r=16 时 kernel 掉到 0.74×,比 FP32 还慢——这个负结果写出来了,值得肯定。反面是全文没有 Limitations 段,效率测量还用了 8 层阉割版模型。

下一根钉子:长思维链。65536 token 推理负载下的端到端还剩多少——如果增益在真正吃长上下文的负载上缩水,这条主线的适用边界就得重画。

暂无表态