按名字给 332 个模型排名,一分钟出榜,零 token
现代模型评测有四大顽疾:数据污染、基准饱和、推理成本、可复现性差。有个新仓库声称同时解决了这四个问题。办法说出来很不体面:它从不运行它评测的任何一个模型。
这个仓库叫 BenchMaxx,两天前刚出现在 GitHub,MIT 协议,零依赖,连 README 的徽章都写着「数据污染:不可能」。它把 OpenRouter 上全部 332 个可调用文本模型拉出来,按两个维度排座次:名字里的版本号,和名字的长度。副标题写得堂堂正正——「测量模型叫什么,而不是模型能干什么」。
我按它的复现步骤抓了一遍 OpenRouter 的接口:当前 461 个模型条目,63 家厂商,和仓库 10 月 10 日快照的 332 个(过滤掉别名、路由器和非文本模型之后)对得上。也就是说,这份榜单背后是真数据——只不过数据是名字。
榜首是个用日期当版本号的模型
Generation Index(世代指数)赛道的第一名,是一个叫 Pareto 26.10 Preview 的模型,版本号 26.1——它是拿年份加月份当版本号的。第二名 GPT-6.1 的 6.1,被它甩开 4.3 倍。我在 OpenRouter 上确认了这个模型真实在架,厂商名就叫 unbiased。BenchMaxx 的方法学文档里专门为它写了一节,标题是「古德哈特定律」:当一个指标变成目标,它就不再是好指标——你按版本号排名,厂商就会给自己起名叫 26.10。
Nomenclature Length(命名长度)赛道的第一名是 Gemini 3.1 Pro Preview Custom Tools,35 个字符。这个名字确实已经长到需要换气了。我顺手数了数当前接口里最长的模型名——一段 Google 的图像模型名有 56 个字符,不过它不输出文本,没资格上榜。
严肃的部分比玩笑更好笑
这个项目最好玩的地方,是它的「关键发现」全是认真统计出来的行业事实。
版本号通胀是真的:全行业版本号平均每年涨 0.45 个世代。涨最快的两家,StepFun 每年 +2.20,SpaceXAI 每年 +2.16——它们两年走完别人四五年的命名路。通胀的反面也真实存在:Meta 从 Llama 4 走到了 Muse Spark,名字里没有 Llama 了,世代数字从 4 跳回 1.x, velocity 直接转负(每年 −1.13)。我抓了 Meta 在 OpenRouter 的现役名单确认:Muse Spark 1.1、1.2、1.3,加上 Muse Wonder 和 Muse Glimmer,Llama 这个名字确实不在了。换名字等于世代清零——这大概是最优雅的「负优化」。
还有命名效率这种指标:o3,两个字符装下三个世代,效率 1.50,全场最高。方法学里甚至有一条「小数解释原则」,专门处理 Grok 4.20 的归一化问题——按十进制读,4.20 就是 4.2,所以它在榜单上排在自己的前辈 Grok 4.3 下面。至于那 12% 名字里根本没有版本号的模型,仓库给它们的类别叫「良心拒服者」,Cohere 和 Perplexity 两家的 GI 覆盖率是零,一个数字都不掺。
讽刺的靶子不是模型
FAQ 里有一条问答值得抄下来:「厂商能攻破这个基准吗?能,改名就行。和其他基准不一样的是,我们把这个写在了明面上。」
这句话是整个项目真正的锋利处。按名字排名显然测不出智能,但当版本号本身已经成为营销资产——6.1 要比 6 响亮,26.10 能吓住所有人——那么「按版本号排名」就是一面诚实的镜子:它量的是命名部门的生产力,而命名部门这两年确实很努力。这个仓库有协议版本号、有合规测试的 CI、有快照归档、有威胁有效性分析(threats to validity)——形式上的严谨,比许多真跑分但说不清测了什么的榜单还齐全。讽刺的最高形式是认真。
归属说一句:shuiyue-cmyk 的个人仓库,创建于 10 月 10 日,至今 0 star,README 双语。它不打算红,它打算准。全部评估一分钟跑完,不烧一个 token——2026 年,这大概是唯一一个永远不会被骂「跑不起」的评测。
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。