109M 对 72B：先问赢的是什么比赛

一个 1.09 亿参数的小模型，在一场测试里赢过了 720 亿参数的 Qwen 2.5 和 700 亿参数的 Llama 3，训练样本还省了 42 倍。这三个数字都是真的，出自 10 月 29 日的一篇论文，作者是布朗大学的 Randall Balestriero 和杨立昆。这几天它被讲成了「小模型证明整个行业走错了路」。论文本身有意思得多，也老实得多——关键是先弄清楚，赢的到底是什么比赛。

一场关于「表征会不会合流」的比赛

2024 年，几个研究者提出过一个假说，名字起得很玄：柏拉图表征假说。意思是，不管你用什么模态、什么架构去训练模型，只要模型足够大、数据足够多，大家学到的内部表征会收敛到同一个东西——像柏拉图的洞穴寓言，墙上影子千姿百态，外面是同一个真实世界。

这个假说当时只有相关性证据：确实观测到不同模型的表征越来越像，但没人知道为什么，也没人能保证它会继续。假说就是假说。

新论文干的事，是把这个假说变成定理。条件写得很清楚：如果你用「同一场景的两个观察」当正样本对去训练 JEPA——比如同一间屋子的两张照片——那么不管几个模态、各自训练各自，模型学到的表征在「差一个旋转」的意义上相同。旋转是表征空间里最无害的差异，两个坐标系指向同一组事实，转一下就对上了。偶尔对不齐的，错配也有上界。

JEPA 这里只带一句：它是杨立昆推了近十年的路线，模型不预测像素、预测潜空间里「重要量的编码」。上个月写过它的分层版 H-JEPA，用三层世界模型在机器人迷宫里把成功率从 18% 抬到 73.3%。这篇新论文不动架构，动的是「用什么样的数据对来训练它」。

定理的反面更有用

证明说「好视角能合流」，剩下的问题是：语言模型用的算好视角吗？

论文的答案是否定的，而且给得很巧：next-token 预测其实也是一种 JEPA——它把「同一份文档的不同部分」当正样本对。但文档切片不是世界的两个观察，是同一个观察的碎片。用论文的话说，这是坏视角（bad views）。语言模型要想跟视觉表征对齐，就只能靠规模硬堆。

堆到什么程度？被测的 LLM 用了 15 到 18 万亿 token 来训练。而 109M 的文本 JEPA，用 9 亿个样本，与视觉模型 DINOv2 和 CLIP 图像编码器的对齐分数就超过了它们。同一份语料上，好视角要达到同样的对齐水平，所需训练样本是 next-token 预测的 1/42——论文 4.2 节的标题就是这句话：好视角少要 42 倍样本。

这项工作最「科学」的地方不在赢，而在可预测：作者从对齐数据里拟出了一个 scaling law，拿它去预测没跑过的实验配置，误差落在随机种子噪声以内。猜想变成定理，定理配上定律，一个原本是哲学趣味的问题，变成了可以拿参数去算的工程量。

赢了之后能干什么

赢来的对齐不是摆设。论文给了两个演示。一个是：两个完全独立训练的编码器——一个看图、一个读文——只需要一个旋转变换就能接起来，接完直接当图像描述器用，COCO 上 CIDEr 0.838。训练时它们从没见过彼此，表征却在空间里长得能对上号，插销一插就亮。另一个更狠：在一个不需要成对数据的基准上，文本 JEPA 的零样本 ImageNet-100 top-5 到了 64%，胜过所有 8B 参数以下语言模型的最好成绩——最多 56%。

然后把边界说清楚。这场比赛测的是「表征对齐」：109M 模型的文本表征空间，与 DINOv2、CLIP 图像编码器的空间距离，比那些大语言模型的更近。它不测推理，不测写代码，不测知识问答，更不是「物理世界理解能力」的综合考试——109M 的模型不会比 72B 的模型更聪明，它只是在「和视觉世界对齐」这一件事上，路线选得对。视频把它说成「证明了整个行业错了」，论文的原话温和得多：next-token 预测是一条「效率低得惊人的通往柏拉图表征之路」。行业没有错，只是有人把两条路线的成本算清了：同样是对齐视觉，好视角花 9 亿样本，切片视角花 15 万亿 token。

论文最后一句是全篇的杠杆所在：造出与世界合流的表征，靠的是正视角，不是单靠规模。42 这个数字，值钱的不是「小模型赢了大模型」，而是它标出了视角的价格。

信源：Proving and Improving the Platonic Representation Hypothesis with JEPAs（arXiv:2610.39302，2026-10-29，Randall Balestriero、Yann LeCun）。数字均出自论文摘要与正文：109M vs 72B（4.3 节）、42 倍样本（4.2 节）、15-18T tokens、对齐 0.184、CIDEr 0.838、ImageNet-100 64% vs ≤56%（8B 以下）；柏拉图表征假说出自 Huh et al. 2024（ICML）。