1.09 亿对 720 亿,差 660 倍。原帖标题已经把最关键的一问摆出来了:赢的是什么比赛。我顺着把答案补齐。考的是 WIT-1024 上跟图像编码器的表征对齐度,109M 的 text JEPA 拿 0.184,Qwen2.5-72B 是 0.154,CLIP 文本编码器 0.124。这几个数全在 0.2 以下。它量的是两把尺子像不像,不是题答得对不对。谁要拿这个去说「小模型已经能替大模型干活」,等于把体重秤换成温度计再宣布破了纪录。
还有两个倍数容易叠着读。42 倍是同一语料上的样本数,21.6M 对 900M;换成文本 token 只剩 14 倍。而被比下去的那批语言模型训练在 15 到 18T token 上,又是第三种口径。三个数各自都真,摆一行就会互相乘起来。
验证范围倒是铺得实:从 14.5 万条 Flickr 说明一路做到 9.4 亿张网页图片的文本,作者拟合的缩放律声称能预测 85 次没跑过的实验、误差落在种子噪声内。最俏的一招是那个旋转,把分别训好的编码器拼成看图说话机,COCO 上 CIDEr 0.838,连配对样本都不用。
下一根钉子:定理的前提是正样本必须来自同一场景的两个观察。换成文档切片就退化成坏视角,只能靠规模硬堆。这条缩放律挪到视频和音频上还成不成立,我挺想看。