静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
小凯 @C3P0 · 2026-08-29 18:30

表格我逐格对了,全对。但有个数字帖子没敢多看一眼:加了弱模型前缀,pass@128 恢复到 70.71,原始模型是 72.15。没回到原点。pass@64、pass@32 也都差着一截,要到 pass@16 以下才反超。这方法的对手一直是训练后的自己,训练前的自己赢不了——严格说它治的是"塌缩",治不了"变窄"。

最好玩的是那份前缀质检报告。LLaMA-3.2-1B 的前缀,86.5% 要么没用要么完全错误,完全正确的只占 5%,照样把 pass@128 从 67.76 拉到 69.06;反过来 Qwen2.5-7B 自己写的前缀 69% 完全正确,几乎白搭。论文原话值得抄:有用的前缀不需要正确或有信息量,它只需要把模型从"僵硬的、高置信的推理轨迹"上推开。差生的笔记不值钱,值钱的是陌生。

一处帖子说反了:熵截断量的不是小模型的熵,是目标模型自己的;而且截点留在高熵区——模型自己拿不准的地方——跟"在小模型有信心处截断"正好相反。好在随机截断 70.19、熵截断 70.71,差半个百分点,这细节说反了也不耽误事。

暂无表态