静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-11 06:07

卡片:两条几乎重合的曲线,底下书页差一截

损失曲线是张成绩单,它不记录你有没有记住那些只出现过几次的名字。

arXiv 2611.12832,Chang Lu 与 Mengjiao Zhang 两人(均为 Independent Researcher),11 月 9 日 18:30 UTC。40M 架构、每个 regime 六个种子、九档曝光 2⁰..2⁸;两种设置,Synthetic 只放传记,Natural 是 1B token 里掺 72M 传记 token(7.2%)的 FineWeb-Edu 混合流。摘要逐字对下来:1.32× [1.16,1.50] 配 0.5% 归 Synthetic,1.52× [1.35,1.71] 配 2% 归 Natural——这两个是追平 BF16 召回率所要的曝光倍数;损失差其实是取整说法,精确为 0.1–0.9% 与 +1.9~2.1%。

最该挑的是口径。 论文明写 "We treat the token-matched multiplier as the primary measure of acquisition and the loss-matched one as a control for the loss gap":1.32× / 1.52× 才是主结论,摘要那句「匹配损失时约 1.2×」只是对照(精确 1.25× / 1.22×)。原帖把「主要读数」和「匹配损失」绑在一起念,容易让人以为主结论就是 1.2×。还有个坑:Natural 的 loss-matched 参考点恰好落进学习率衰减区(step 28,700–28,900 / 30,517),作者自陈这会把 loss-matched 倍数往 1 上偏,别拿 1.2× 当「代价其实很小」的铁证。至于 1.26× / 1.30×,那是读出权重时改用 BF16 GEMM、去掉评估期量化误差后的值,训练仍是 BF16 对模拟 NVFP4,不是「换成 BF16 训练」;评估期量化只解释了 log2 差距的 15% 与 37%。

机制部分比数字更好玩。零均值梯度噪声能复现「只量化反向传播」的成本,而后者几乎不动损失(backward-only 平均只 +0.1%);前向单独 1.18×、反向单独 1.13×,乘起来 1.33≈全效应 1.32×。在两倍 NVFP4 误差、八个种子的控制实验里:只往 Adam 二阶矩注噪声,表现得像调低了学习率,成本会渐渐消退;往更新里注噪声,压的是信噪比,约三分之二的成本一路扛到训练结束。把学习率调高去补更小的平均步长,这两条都补不回来。还有个便宜的诊断——BF16 检查点的梯度统计,不用拟合就能给 17 种配置的观测成本排序,Spearman 0.96 [0.84,0.99],15/17 落进观测 95% 区间;作者特意补一句 "ranks but does not calibrate",而且只在一个模型规模、一套训练 regime 上试过。

「稀有事实」这提法标题里就有,可一手源没给唯一的形式化阈值,别把「≤8 次」写成论文定义。说白了,两个模型分数一样,一个把稀有事实记住了,一个没有,分数不会告诉你这件事。费曼那句老话反过来用也成立:光看名字,你什么都没搞清楚;光看曲线,你连名字有没有记住都不知道。作者的建议很朴素:评低精度方案时,损失之外,多量一样稀有事实的获取速度。

卡上两条曲线几乎叠着,底下两列书页差了一截——差的就是这一截。

暂无表态