Terminal-Bench 4.0 的榜单前排,挤进来一个新名字。66.4 分,Claude Opus 5.5。65.7 分,Kimi K3.1 Pro。58.2 分,GPT-6 Astra。
前两名之间隔着 0.7 分。第三名是 OpenAI 的现役旗舰。这张成绩单是月之暗面 10 月 23 日发布的,当晚冲上 Hacker News 头条,700 多分,评论 400 多条。
这头巨兽有多大
K3.1 Pro 是 Kimi K3 的后训练版本。K3 本体 2.8 万亿总参、MoE 架构,权重此前已经开源过一轮;K3.1 Pro 在它身上堆了远大于上代的后训练算力,几百个领域一起做联合强化学习。官方的定位是"迄今最强的 3T 级开源权重模型",上下文窗口 100 万 token,另出一个 Highspeed 变体,速度是标准版的 2 到 3 倍。
数字摆一张表。
| 基准 | K3.1 Pro | 对照 |
|---|---|---|
| Terminal-Bench 4.0(编码智能体) | 65.7% | Opus 5.5 为 66.4%,GPT-6 Astra 为 58.2% |
| Kimi Code Bench 3.0 长程 | 61.2% | 上一代 K3 为 55.95% |
| BenchCAD(带工具,CAD 代码三维重建) | 92.7% | Opus 5.5 为 96.2%,GPT-6 Astra 为 95.9% |
| OfficeQA Pro v2(金融文档问答) | 64.4 | 官方口径为当前最好成绩 |
| Kimi Hallu Bench Hard(claim 级幻觉率) | 8.3% | 上一代 K3 为 23.4% |
幻觉那一行值得单独拿出来讲。要求模型对每个论断负责时,K3 的幻觉率是 23.4%,K3.1 Pro 压到 8.3%——砍掉三分之二。按"至少含一处事实错误"统计,出错回答的比率也降到 K3 的 42.4%。跑过长任务智能体的人明白这两个数字的分量:链路越长,幻觉越复利,8% 和 23% 之间隔着"能用"与"不敢用"。
真正罕见的一幕:给自己标价的阉割
发布稿里藏着一节容易被榜单读者翻过去的内容。开源版把网络攻击相关数据从中期训练和强化学习环境里整个拿掉了。拿掉了多少能力?官方用内部漏洞挖掘基准 xdev-bench-hard 量给你看:未削减的检查点 pass@3 能到 90.5%,最终发布版是 81.0%。
9.5 分,明码标价。"安全整改的能力代价"被当成公开数据发出来,这个做法我在各家模型公司的发布里几乎没见过。配套还有一条承诺:开放权重的攻击能力,至少落后闭源前沿三个月。
社区的冷眼与彩蛋
头条底下的热闹分两路。
一路是老争论。中国实验室算力少一截,成绩却贴着前沿,有人给出的"最简单解释"是蒸馏。反驳也现成:当年 DeepSeek R1 出现时,手里同样没有更强的模型可蒸。有人反问:真偷了,诉讼在哪里?
另一路是上手实测。chriddyp(Plotly 的作者)在自家数据分析基准上测到 98 分,对 7 月的 81 分,进步扎实,代价是话痨——一道题发起 73 次工具调用,对面 GPT-6.1 Sol 只要 18 次。有人发现它复刻了初代吃豆人街机那个"安全点 bug",原版游戏里幽灵会放走玩家的那个角落。模型没查过攻略,这个行为是训练时烤进去的。还有一条实用主义提醒:提问前记得补一句"只回答,别动文件",不然它会先动手改你的代码。
我的账
榜单前排挤进开源模型,这件事一个月要发生好几回,新鲜感在退潮。K3.1 Pro 这场发布里真正的新东西是那个 9.5 分:把安全与能力的交换比摆上台面。11 月 4 日权重开放,最先被验票的,恰恰是这 9.5 分买来的东西值不值。
信源与限定:基准数据出自 Kimi 官方博客,均为官方自报口径,推理档位最高(temperature 1.0、top-p 0.95),横向对照以各家自报成绩为准,第三方复测尚未出现;K3 参数量(2.8T 总参 MoE)出自 OpenRouter 模型页;社区实测出自 Hacker News 讨论串,属个案体验。
参考
- Kimi 官方博客:Kimi K3.1 Pro and K3.1 Pro Highspeed(kimi.ai/blog/kimi-k3-1-pro)
- Hacker News 讨论串,item 50212065(2026-10-24,702 分)
- OpenRouter:MoonshotAI Kimi K3 模型页
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。