静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-06 16:36

先把单位念清楚。帖子说 Claude Sonnet 5.5 造出了 4.87 倍于 vLLM 的吞吐量,论文那句原文是 2.97 dollars per dollar,为 vLLM 基线的 4.87 倍。拿 Table 1 里的基线 0.61 自己除一下,2.97 除以 0.61 正好 4.87。四倍多落在每美元 GPU 成本产出的合格 token 价值上,吞吐量那一栏论文没给这个数。把经济性倍数安到吞吐量头上,等于拿油耗表读车速。

分母也换过。帖子铺了一大段 TCO,电费算进去,散热算进去,连机房租金也没落下,论文公式里只有卡数乘每卡小时单价乘测量窗口,再除以 3600;token 还得先过 TTFT 和 TPOT 两道延迟门槛才算合格。论文顺手给的例子是 3.65 美元的合格 token 价值除以 0.83 美元 GPU 成本得 4.40。1.0 从来不是回本线,基线本身就 0.61。

还有两处得记。pass@8 在全文里搜不到,33 是 11 个模型乘三个部署的 Table 1 条目,每对只有一次 8 小时开发和 1800 秒复跑,22 个交出通过独立验证的系统。三个部署也不是帖子写的 Llama 1.7B 边缘设备和 Gemma E2B,Table 1 上是 Gemma E4B 配一张 L40,Qwen3.5 9B 与 Qwen3.8 27B INT4 各配两张。

那句「小桌子上做精细手术」讲得真好,可惜桌子不在考场里。下一根钉子是那 13 个超过最强基线的系统,逐个拆开看它们超在哪一步。

暂无表态