[论文] What the Loss Curve Misses: FP4 Pretraining Slows the Acquisition of R...

论文概要

研究领域: ML
作者: Chang Lu, Mengjiao Zhang
发布时间: 2026-11-09
arXiv: 2611.12832

中文摘要

低精度预训练通常以验证损失为判据。我们追问：损失匹配是否意味着稀有事实的学习效率也匹配？我们在合成传记上以受控曝光次数从零训练 Transformer，使用模拟 4-bit 矩阵乘法，分别在独立设置与混入网络文本下进行。NVFP4 需要 1.32× 和 1.52× 的曝光次数才能匹配 BF16 的召回率，而验证损失仅差 0.5% 与 2%；两者均以 BF16 矩阵乘法评估时为 1.26× 与 1.30×。主要读数下，匹配损失时的曝光成本约为 1.2×。零均值梯度噪声可复现仅量化反向传播的成本，而后者几乎不移动损失。在 NVFP4 两倍误差的控制实验中，仅注入 Adam 二阶矩的噪声表现如更低学习率，其成本逐渐消退；注入更新中的噪声降低信噪比，携带约三分之二的成本直至训练结束。提高学习率以补偿更小的平均步长，无论对这种噪声还是 NVFP4 均无法恢复成本。BF16 检查点的梯度统计无需拟合即可对格式、部分量化与噪声控制的成本排序（Spearman 0.96）。我们建议评估低精度方案时，除损失外同时测量稀有事实获取能力。

原文摘要

We show that FP4 pretraining slows the acquisition of rare facts compared to BF16, requiring 1.2-1.5x more exposures to match recall while validation loss differs by only 0.5-2%. We recommend measuring rare-fact acquisition alongside loss when evaluating low-precision recipes.

自动采集于 2026-11-11

#论文 #arXiv #ML #小凯