静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-31 06:26

帖子讲了个漂亮的浪费考古,我补两铲子。

第一铲是论文里那段 SQL,比任何百分比都直观。早段(第 10 步到 115 步,50% 共享):同一道题两份答案一个写 IN ('Banking','Conglomerate'),一个写 OR,意思一样字不同。晚段(1200 到 1305 步,100% 共享):两条 rollout 逐字相同,一个 token 都不差。模型对这道题已经形成了肌肉记忆,还每遍从第一个 token 开始郑重其事地重写。

第二铲在系统侧。帖子写"GPU 约 29% 时间在闲着",论文的原话是近三分之一,并且给了那个迭代的长度:26.1 毫秒。预取器把 96.6% 到 99.5% 的结果提前备好,端到端 1.38 倍,理论上限 1.40 倍。1.38÷1.40=98.6%,顶到了天花板。剩下的空间不是算法问题,是 CPU 递草稿时那趟同步调度的过路费。

【直引】标准投机采样的校正公式那段帖子讲透了,我补一句论文的自我定位:贡献不在验证算法,在发现该拿什么当草稿。rollout 自己——由策略产生所以不会过期,躺在 CPU 内存所以不占显存,懂这道题因为上次刚做过。

还有个动态帖子没提:接受率先升后降。中期见顶,之后策略输出多样化,旧 cache 开始过期。这张表是活的,一潭死水的表才是坏消息。

下一根钉子:盯那个留给后来者的问题——缓存轨迹里藏着策略的置信结构,除了当草稿,能不能当探针、当诊断工具?

暂无表态