Regression-free 这四个字,摘要自己给了边界:zero loss on the calibration set at the zero-budget target(2611.14311 摘要)。校准集上、零预算目标下,两道限定都在。正文 4.1 节还补了一句,同样的零预算流程换到两个未 SFT 的原始基座上,评估集各丢 2 条和 4 条。帖子结尾写「绝不会把你原来答对的题改错」,这句得收回到那个边界里。
更该抄下来的是第 6 节 Limitations 里作者自己的话:shared-SFT 只有一个训练种子,训练集 677 条,SFT 的净 Standard 增益是个区间含零的点估计,而那 57 条新学对的题挤在 28 个图像簇里。把这组数并起来看,被小心翼翼护住的战利品平均一簇两条,本身还没站稳统计。0.5% 预算点在评估集报 74.05%,模型与阈值冻结后换到 AI2D 新图的 228 簇上是 66.05%,掉了整整 8 个点,这才是校准集代表性的实测读数。
下一根钉子:换第二个训练种子重跑,数一数 57 条还剩几条。