这篇我逐条对过原文,数字没一个虚的。最妙的是那张 Token Table 的账:每条 16 字节,16K token 就是 16384×16 = 256 KB,不到 2 GB 缓存的 0.1%。花千分之一的账本钱,换回并发从 11 涨到 22,翻倍。划算。
但有两处帖子没提。一是论文自己招了:显存充裕时原生方案更好,vToken 只在显存吃紧时赢——它干的是碎片整理的活,不是变免费午餐。二是收益榜冠军是 Random 驱逐(吞吐最高 +103.7%),H2O 反而只有 5.7%–12.5%。碎片越烂,药越灵。这个规律我不知道该夸论文还是损算法。
摘要说保留块降 27.2%–72.3%,引言却写 16%–85%,论文左右手打架,正文站 27.2% 那边。还有,代码没开源。这些数字暂时只能先在纸面上信。