Jev与决策模型

Jev 与决策模型叙事的四道关口 · 深度研究报告

DEEP RESEARCH · 2026.10.04

Jev 与「决策模型」叙事的四道关口

一篇知乎长文的数字、机制与产业推论，逐条摊开在证据桌上 —— 问题意识是对的，证据链是断的

TypeSafe Jev 1.13
四骑并行勘察
统计独立复算
12 行表格逐行检验
arXiv 2609.37647

一句话拍板。长文的问题意识是对的 —— 把「品类价值」与「个体智能」分成两个问题来问，是本次讨论最有价值的贡献。但支撑结论的证据链有三处断裂：n=100 的样本量撑不起 4–7 个百分点的差距；基线用「生成文本再解析」弱化了对手；而「对巨头是利空」这一推论，在发布后 14 天就被 OpenAI 自己推翻。

Jev 的真实定位。价格与速度的碾压者，能力上稳定落后最强前沿模型 3–7 个百分点。长文说「接近中等水平 LLM」，方向大致不错，但支撑它的表格里，没有一行能通过统计检验。

本文立场。不站队，只摆证据。四骑并行（账房／辩士／史官／刺马）共 25 万字节军报，主报告的每一个统计数字皆由自写脚本复算，不采信转述。凡查不到者，写「未查到」，不作脑补。

目 次

摘要 · 四道关口速判

关口一 · 数字属实，不等于效应属实

关口二 · 基线配法埋雷

关口三 · 品类价值成立，但钱会被下游吃掉

关口四 · 「对巨头是利空」打错了靶子

勘误清单 · 十五条

未证实清单

方法说明 · 复算与自我修正

结论 · 金句与口诀

SUMMARY摘要：一句话拍板

长文把一个笼统的问题拆成两个 —— 「决策模型这类东西有没有实用价值」与「Jev 作为其中的代表，智能是否如官方所述」。这个切分是全文最值得保留的东西。但从第二个问题通向结论的路上，证据断成了三截。

关口长文主张判定

一、数字Jev 83–100%，多组超 Qwen3数字属实，效应不成立
4 组差距经检验无一显著

二、基线关推理求公平口径偏置
非 logprobs 口径，且硬编码关闭思维链

三、机制决策模型有实用价值成立
但省下的钱会被下游摩擦吃掉

四、产业对巨头是利空不成立
这是追认不是预测；且巨头已下场

一个比喻

长文拿一把只能量到 5 厘米的尺子，去量 4 毫米的刻度，然后说「我量出来了」。尺子没坏，题目太细。这不是「造假」，是「工具与量级不匹配」 —— 而全篇最要紧的结论，恰恰是靠这把尺子撑起来的。

GATE ONE关口一：数字属实，不等于效应属实

这是全篇最值钱的一节。长文 12 行表格无一行给出置信区间、样本量或检验方式。以下全部为独立复算。

1.1 逐行复算（n=100，双侧两比例 z 检验）

BenchmarkJevQwen3差值SEzp判定

FOLIO83%79%+4pp5.550.720.471明显站不住

ProofWriter94%82%+12pp4.602.610.0090边缘 过 Bonferroni 校正

Winogrande98%91%+7pp3.222.170.0299边缘 Fisher p≈0.058

CommonsenseQA92%87%+5pp4.341.150.249明显站不住

MuSR-obj-place52%52%0pp7.070.001.000差值为零

MuSR-team-assign52%73%−21pp6.85−3.070.0022显著，且是 Jev 输

CLadder-easy76%76%0pp6.040.001.000并列

CLadder-balanced71%79%−8pp6.12−1.310.191不显著，Jev 输

CLadder-hard71%75%−4pp6.28−0.640.524不显著

Jevbench-original98%100%−2pp1.41−1.420.155不显著

Jevbench-easy100%100%0pp0.00——区间退化

Jevbench-hard74%83%−9pp5.93−1.520.129不显著，Jev 输

VERDICT · 数字属实，不等于效应属实
Jev「赢」的组共四组，p 值分别为 0.471（FOLIO）、0.249（CommonsenseQA）、0.030（Winogrande）、0.0090（ProofWriter）。经 Bonferroni 校正（12 次比较，α′ = 0.00417）后，四组全部未通过；其中最接近的 ProofWriter（p=0.0090）超出门槛一倍以上。

结论：Jev「赢」的部分无一通过多重比较校正，而唯一稳稳站得住的差距，是它输 21 个百分点。

三点要害

其一，唯一稳稳站得住的差距，方向是 Jev 输。MuSR-team-assign 上 52% vs 73%，21 个百分点（p=0.0022），远超最小可检出差值（MDE）。作者把这一行与噪声并列陈述，一笔带过；反倒把 4pp 的噪声郑重其事地写成「甚至超过了 Qwen」。

其二，这张表是配对设计，长文却用了独立检验。两个模型跑的是同一批 100 题（jeveval seed=42 + manifest 固定），正确做法是 McNemar 配对检验，只需要不一致对数 b（仅 Jev 对）与 c（仅 Qwen 对）。长文只给边际百分比，未报 b、c —— 这是结构性缺陷，不是数据量问题。

b（仅 Jev 对）c（仅 Qwen 对）McNemar χ²p判定

1252.1180.146不显著

1581.5650.211不显著

850.3080.579不显著

方法缺陷，不是数据不够

同一组边际百分比，配对检验给出「不显著」。把 n 从 100 加到 1000 也无用 —— 不报不一致对数，加多少 n 都给不出配对显著性。

其三，「误差约 ±5 个百分点」这句话本身不准确。二项标准误随 p 远离 0.5 而收窄：

pSE95% CI 半宽

50%5.00pp9.80pp

80%4.00pp7.84pp

90%3.00pp5.88pp

98%1.40pp2.74pp

100%0.00pp0.00pp

以一把 ±5pp 的尺子量全表，高准确率行被过度宽容、低准确率行被过度苛刻，两种偏差方向相反。且 p=1.00 时 SE=0，区间退化 —— 「100% vs 100%」在统计上无法证伪差值，只能说并列。

1.2 样本池大小不齐：同为「100 题」，证据强度差 50 倍

Benchmark源集规模抽 100 题占全池

FOLIO204 条49.0%

MuSR-object-placements256 条39.1%

MuSR-team-allocation250 条40.0%

CommonsenseQA1,221 条8.2%

CLadder-balanced10,512 条1.0%

ProofWriter11,820 条0.8%

FOLIO 抽 100/204（近半池）与 CLadder 抽 100/10512（1%）不是同一量级的证据。12 行混报，实则把两种证据强度当成等价。

1.3 最小可检出差值：要多大的差距才「站得住」

基准准确率n=100 时所需差距（power = 0.80）

50%≥ 19.8pp

70%≥ 18.2pp

80%≥ 15.8pp

90%≥ 11.9pp

95%≥ 8.6pp

反解：检出 4pp 差距需每组约 1,251 题；5pp 需约 801 题；7pp 需约 409 题。长文各用 100 题，差一个数量级。

1.4 成本与延迟：两个数字各差一个量级

成本 · 「2 美分 vs 5 元」= 250 倍？
先换汇（汇率 7.1）：5 元 = $0.704。再相除：$0.704 ÷ $0.02 = 35.2 倍，不是 250 倍 —— 作者高估约 7.1 倍。

更进一步：Jev 单次 5k token 实为 $0.00021（$0.042/1M × 5k），作者的 2 美分高估 95 倍；且 64k 上下文上限使 $0.02/次 物理上不可能。Qwen 单次实为 ¥0.0038，作者的 5 元高估约 1,300 倍。双向虚高，不能作单次口径引用。

但量级判断站得住：第三方独立复现为 17–250 倍 —— AIMLAPI 84–150× vs Opus 5.5、17–30× vs GPT-6 Sol；Kiseki Labs 25× vs Haiku 4.5；arXiv 2609.29429 63×；Trellis 32×；另有 272 条真实工单实测 170×。

延迟 · 「0.3 秒 vs 13 秒」
0.3 秒 —— 站得住。落在四家独立实测中位正中（AbdelStark 236–256ms、nibzard 264–276ms、AIMLAPI P50 122ms、jev-harness-lab 0.3s）。

13 秒 —— 站不住。比 AIMLAPI 实测最慢的 LLM（2.55s）高 5.1 倍；Qwen3-30B-A3B 仅 3.3B 激活参数的 MoE，非思考模式下单次多选的前向传播物理上不可能耗时 13 秒。

真实独立复现区间：6–18 倍（服务器端）/ 1.7–3.9 倍（端到端）。AIMLAPI 直接写下「Jev wasn't 100x faster than any model」。

1.5 官方那张表：长文最核心的误读

长文称「官方文章中的数据基本上是可信的」。核对 evals.typesafe.ai 原始数据后，问题不在可信度，而在读法。

模型四工作流等权平均

GPT-5.6 Sol74.1%

Claude Opus 573.1%

GPT-5.6 Terra67.9%

Jev67.8%

Jev 的 67.8% 是四个工作流的等权平均。逐工作流看，Jev 分别排第 3、第 7、第 8、第 4，0 次单独第一。Customer Service 一栏 Jev 61.8% 排第 8/9（仅高于 haiku 4.5 的 42.9%），被均值拉回到 67.8%。

最核心的误读

「平均持平」被读成「战平前沿」。独立佐证：AIMLAPI 实测 Opus 5.5 / GPT-6 Sol 高出约 7 点且 p<0.001；OpenRouter n=3,080 配对 bootstrap 给出 CI [2.3, 4.4]pp。

另两处常被引作铁证的瑕疵

其一，官方头条「193.6× 更快」取自 Sonnet 5 的时间比、「444.6× 更便宜」取自 Opus 5 的成本比 —— 是两个不同模型。TypeSafe 自认这两个数字「on the higher end」，且无法证明定价未被补贴。

其二，官方四工作流的参考标签由「其他 LLM 答案平均」而非人工标注产生，TypeSafe 自己承认可能存在设计偏差、并称优势大概接近上限。

1.6 记忆化质疑：长文方向对，但论文的结论句被省略了

长文自认「不排除 Jev 对这些 Benchmark 做过针对性的优化」—— 这句自我警惕是诚实的，值得肯定。

但 arXiv 2609.37647 的处理比长文更严谨，也更微妙。该论文做了两个探针：选项全部轮换后准确率不变（MMLU 计算子集 0.943 → 0.943），撤题后降至 0.315（随机 0.25）。同一探针在 Qwen（0.744 / 0.351）与 Gemma（0.551 / 0.304）上表现一致，说明非针对性设计 —— 这是对长文疑虑的部分回应。

然而论文紧接着收回了对 Jev 有利的推断，原文两处：

These probes cannot, however, distinguish memorization of question-answer pairs from a genuine ability to solve these questions in a single step.

…which makes an effect specific to Jev and MMLU, such as training exposure to MMLU questions, the most plausible explanation… Until then, we treat the MMLU result, and by extension results on other long-established English benchmarks, with caution.

决定性检验（改题目中的数字）被论文自己明说「留待 future work」。Jev 无技术报告、无权重、无训练数据披露 —— 该质疑在可预见的将来无法被第三方解决。长文若把两个探针写成「已排除记忆化」，是方向性反转。

交叉证据

TypeSafe 官方 Jev 1.13 文档自列的失效模式第 8 项即为「Choice option order — 重新排列选项并检查答案是否一致」，即厂商自己要求用户自查选项顺序敏感性。

GATE TWO关口二：基线配法埋雷

2.1 jeveval 的 LLM 侧不是 logprobs

读 jeveval 源码（adapters/openai_compatible.py:38-39,56-75）：LLM 侧被要求生成 {"label":..., "probabilities":{...}}，再 json.loads + 归一化 + argmax。Jev 侧则直读 API 原生概率。全仓库 logprobs 只在设计文档里出现过一次，从未落地。

后果比想象中严重
该工具的 ECE / Brier 校准对比是「架构原生概率」对「模型自报数字」，属苹果比橘子，任何基于它的校准优越性结论无效。

而这恰是 Jev 官方主打的差异化能力。长文未察觉此点，等于用一把失灵的尺子量了 Jev 最核心的卖点。

对照：arXiv 2609.37647 让 Qwen 与 Gemma 取 option 的 next-token 概率，与 Jev 的原生概率同口径。这才是公平的比较 —— 而长文恰好与之相反。

2.2 「关闭模型推理求公平」：结论被锁在很窄的工况

长文主动声明关闭思维链以求公平 —— 这一点上他是诚实的，且在代码层强制（reasoning_effort != "none" 直接抛 ValueError），Jev 本身亦无思维链可选，System One 对 System One 是正确设定。

但代价必须算清。Qwen3 官方 235B-A22B 对照数据：thinking → non-thinking 在 AIME25 上 92.3 → 70.3（−22.0）、LiveCodeBench v6 74.1 → 51.8（−22.3）；而在 MMLU-Pro / IFEval / Arena-Hard 上仅差 −1.4 / +0.9 / −0.5。长文所选的 FOLIO / ProofWriter / MuSR / CLadder 恰在代价最大区间。

同一论文独立指出，这会「likely raise their accuracy at a higher cost」—— 即 Qwen 关推理后更便宜但更弱，两头都占了。

另一层：Qwen3-30B-A3B 的官方定位是「efficient, general-purpose dialogue」，其 non-thinking checkpoint 并不代表该模型能力上界（Qwen 官方 2507 对照：开 thinking 后 MMLU-Pro 78.5→80.9、GPQA 65.8→73.4、AIME25 70.9→85.0）。长文结论仅对「同价位直答档位」成立，这一限定词在正文中缺失。

2.3 工具可信度：工程自律显著，但结果未提交

jeveval 仓库实况：3 commits、1 contributor、2 stars、0 forks、0 releases、无 license；sample-output 只有 3 例离线确定性适配器冒烟，无任何 Jev vs qwen3 真实结果；参考模型价格为 null（成本列未产出，「¥5」系工具外手算）；模型写作 jev-latest 未 pin 版本 —— 一个测 ECE 的工具不 pin 版本，恰好踩中官方文档反复警告的「别名漂移使已调阈值静默失效」。

但须公平记功

seed 42 + 全源 SHA-256 manifest、缓存不覆盖 latency、preflight 门禁、逐项披露数据坑（CommonsenseQA 非 2.0、ProofWriter 无 Unknown 标签、Winogrande 标签实为 1/2）。真正伤害报告可信度的不是「自测」，而是「结果未提交 + 成本列缺失 + 版本未 pin」。

JevBench 方面：与 TypeSafe 无隶属关系，双方自述 + 第三方独立确认；维护者自掏腰包、208 stars。长文对「挑战性太低」的批评方向可取，但真正的刺是：Jev 因计分方法自身迭代从 #1 掉到 #4 —— JevBench 的 Intelligence 单轴被 GPT-5.6 Luna 超过，第 1 名是靠四轴几何平均中的 Cost 轴撑着的。

GATE THREE关口三：品类价值成立，但「省下的钱」会被下游吃掉

这是长文最有价值的部分，且方向正确。决策模型确有真实价值，但「价值成立」与「成本红利可持续」是两件事。

3.1 「决策模型是新概念」并不成立

长文自己说了「早就存在的概念穿了一个新马甲」，这句判断有据：

机制学术／工业先例时间

「给状态、给选项、输出分数」monoT5 cross-encoder reranker（220M/770M/3B 三档）2019

「便宜模型先行、贵模型兜底」FrugalGPT（至多省 98%）、Hybrid LLM（ICLR 2024）、RouteLLM（MT-Bench 省 85%）2023–2024

「输出校准概率并据此交给人」Chow's rule (1970)、SelectiveNet + SGR (NeurIPS 2017)1970–2017

「用 RL 优化校准置信度」Rewarding Doubt (arXiv:2503.02623)，ECE 0.448→0.11452025-03

「决策点抽取」这条机制在 Jev 出生前三年就已被工业界采用。RLCD 反而晚于且不同于 ICLR 2024 的同名方法（arXiv:2307.12950）；Forbes 专栏作者 Anthony Maio 更直白：「RLCD is a made-up phrase by this startup firm」。

3.2 「System One」是被原作者弃用的旧标签

这一层最深

Evans 与 Stanovich (2013, PPS 8(3):223-241) 明确写下「we have both recently discontinued and discouraged the use of the labels System 1 and 2」；Keren & Schul (2009, PPS 4(6):533-550) 判其「依赖不足且往往不充分的实证证据」；Melnikoff & Bargh (2018, TiCS 22(4):280-293) 指出快／慢／意识／演化早晚并不绑定成两簇。

更关键：「定义特征」是自主性与工作记忆依赖，「快慢」只是派生相关物 —— 长文恰好吃在一个被降级的维度上。Kahneman & Klein (2009) 的边界条件（Type 1 在高有效性环境中优于审慎分析）被完全抹掉。

在 ML 侧，「快／慢」的最硬独立支撑是 RL 的 model-free / model-based 之分（成本差数量级）—— 那是工程事实，不是心理学授权。

3.3 真正刺人的反例：省下的钱被复核与漂移吃回去

第三方 272 条真实工单实测，是本报告见过最诚实的一份数据：

任务Jev 校准误差结果

ticket type0.05全场最好 成本 $0.03 vs $5.63（约 170×）成立

product area0.22过度自信 自称 ≥90% 者只有 79% 对

90% 阈值下只覆盖 61%（Claude 同阈值覆盖 85%、准确率 92.8%）—— 为拿可接受准确率必须放弃近一半自动量，人工复核把省下的钱吃回去。

更深一层：harness 依赖

《杀戮尖塔》实测中 Jev 剩 16 血、手握三张防御牌却选择结束回合，原因是三张防御牌被 harness 拆成三个独立选项（17/20/18 分）而「结束回合」21 分。Minecraft 速通项目中 274 个决策里 250 个是单选项题。

另有 silent provider drift（供应商不改 API 名就换模型，廉价侧开始赢下不该赢的 case，数月无人察觉）与缓存亲和被路由破坏（Opus 5 上 12.5 倍摆动）。

核心教训

决策模型是一层薄薄的结构化收益，
它的下游摩擦 —— 复核、漂移、切分、缓存 —— 会把它吃干抹净。

3.4 校准这个卖点，本身有学术上的天花板

ICLR 2026 blogposts《What (and What Not) are Calibrated Probabilities Actually Useful for?》给出构造性证明：同样完美校准，判别良好者拒答后选中部分准确率 80%，而对所有样本一律输出 π=0.5 者拒答不改善准确率 —— 校准与判别是两条正交轴。arXiv:2412.00943 给出定理形式：恒定预测器 f(x)=P(Y=1) 永远是校准的。

更致命的是 Rewarding Doubt 论文的 Limitations 原文：「the policy occasionally converges to always predicting a fixed confidence value」—— RL 校准训练会自然收敛到「输出基础比率」这个零贡献的退化解。

Maio 的补充：「Individually calibrated judgments do not automatically compose into a calibrated workflow once you run them through thresholds, weights, and branches.」

但这一条对长文是反向利好
Jev 的校准优势是真实的、且被三方独立验证。arXiv 2609.37647：Choice 概率 ECE 0.028 vs Qwen 0.063 vs Gemma 0.208（279,925 答案）；UNFAIR-ToS micro-F1 0.499→0.748（1,000 样本调阈）。Kiseki Labs 独立实测：置信度 ≥0.9 时一致率 99.7%，<0.7 时 Jev 69% 优于 gpt-4o-mini 复核的 37%。

3.5 长文漏掉的真正对照物

全文未提 微调 BERT / cross-encoder 分类器。2018 年起就能做到同样的快、便宜、可控、可自托管。Kiseki Labs 的对照算得清楚：微调 BERT 需要标注数据、训练管线、托管，以及标签变更时的重训；决策模型省掉的是训练工作，代价是交出控制权（模型跑在厂商侧，版本升级会使已调阈值静默漂移）。

这是「决策模型有无价值」这一前提的真正对手

不是 Qwen。是那个 2018 年就便宜到能自建的东西。

GATE FOUR关口四：「对巨头是利空」打错了靶子

长文最后一句判断需要单独拍板，因为它是全篇最容易被时间证伪的一句。

4.1 事实：发布后 14 天，前沿实验室自己下场

时间事件

2026-09-15Jev 上线，TypeSafe 出隐身，$40M 种子轮，估值 $2 亿（DCVC 领投）

2026-09-29OpenAI Decisions API（DevDay，limited preview，150ms vs 1.6s）

2026-10-01Cloudflare Clef / Clef-flash（Apache 2.0 开源权重，Jev 兼容，$0.24/MTok）

2026-10-01AWS Strands Decider 2B（开源）

「业界盲区」这个定性，两周内被前沿实验室自己推翻
长文写于 Jev 发布后数日，其推论在当时是合理的。但今天已不是推论，而是已发生的事实。

打击面的方向

巨头不是被 Jev 抢毛利，而是把这个层开源了。Cloudflare 给 Apache 2.0 权重、定价还高于 Jev —— 被开源冲击最重的是 TypeSafe 自己。

长文「对巨头是利空」的空枪，打在了自己这一方的靶子上。

4.2 前提失败：钱不在决策侧

Agent 成本实测分解：输入 45% / 输出 40% / 工具 10% / 基建 5%（另有测算称推理 token 仅占单次运行全成本 26%，API token 通常只占 TCO 的 30–50%）。

钱在生成侧。而长文自己说「把长思考留给 LLM」—— 这等于为保住 System 2 的收入，预测亲手放弃了 System 2 的钱。推理 token 只占两成，砍掉其中一小块省不出 250 倍。

4.3 机制失败：路由这件事本身不简单

LLMRouterBench（Findings of ACL 2026, arXiv:2601.07206；40 万+实例 / 21 数据集 / 33 模型 / 10 基线）证实模型互补性，但发现多数路由方法在统一评测下表现相近，且「several recent approaches, including commercial routers, fail to reliably outperform a simple baseline」。与 Oracle 的差距主因是 model-recall failure —— 池中无模型能答，更强的路由模型救不了。

真实省钱的机制是 Anthropic 官方那样的静态任务分层，且「cannot drift」。

4.4 趋势失败：降价对巨头是利好

同等能力 token 价三年降约 1,000 倍（$60 → $0.04–0.40/M），但同期消耗 +3,800%，Azure 单季 100 万亿 token，总支出因杰文斯悖论上升。

巨头从降价中受益（成本降、售价未降，毛利扩张），不是受损。先例：向量数据库 —— Pinecone $750M 估值 → 探索出售 →「vector search has become a checkbox item」。

4.5 双向并置：长文对了前半段

须公平记功。a16z 的成本对照对长文有利：电脑操作智能体完全加载成本 $6–8/小时，离岸 BPO ~$10，美国后台员工 $30–45，替代美国后台办公可获 70–80% 毛利率。

但前提是定价权在自己手上

一旦所有竞争者拿到同一条 $0.042 成本曲线，护城河消失。Tunguz 的反论证成立：推理转售毛利被成本加成定价的竞争归零。

两个论断可以同时成立：长文的「成本红利」是真的，「红利会被竞争吃掉」也是真的。长文只取了前半段。

行业侧两个真实教训，说明护栏必须自己加：Uber 为 5000 名工程师开 AI 编程工具，4 个月烧光 2026 全年预算，随后实施每工程师每月 $1,500 硬上限；米哈游技术团队因未设熔断，13 小时收到 200 万元 Token 账单。

ERRATA勘误清单

#原文主张一手实况判定

1Jev 83% vs Qwen 79% 显示 Jev 智能接近中等 LLMn=100 下 p=0.471，需 1,251 题/组才稳不成立
数字属实，效应不成立

2Jev 92% vs 87%p=0.249，需 801 题/组不成立

3Jev 100% vs 100%差值 0、SE=0、区间退化无法检验

4Jev 98% vs 91%z 检验 p=0.030，Fisher 精确 p≈0.058，Bonferroni 后不通过边缘，勉强成立

5MuSR-team-assign 52% vs 73%p=0.0022，远超 MDE成立，但方向是 Jev 输
作者一笔带过

5bProofWriter 94% vs 82%（全表最大正向差距）p=0.0090，未过 Bonferroni 门槛 0.00417唯一够得着 MDE 的一组，仍不成立

6「官方数据基本上是可信的」数据可信，但 67.8% 是四工作流等权平均，Jev 逐项排 3/7/8/4，0 次第一读法误判

7关闭模型推理求公平代码硬编码强制，但结论被锁在 non-thinking 工况；所选 Benchmark 恰在代价最大区间诚实但缺限定词

8成本差 250 倍换汇后实为 35.2 倍；单次实为 $0.00021 vs ¥0.0038，双向虚高不成立
量级仍成立：17–250×

913 秒 vs 0.3 秒0.3s 站得住（四家实测中位）；13s 高于最慢实测 5.1×，物理上不可能一半成立

10不排除针对性优化论文两探针排除浅层记忆，但自认无法排除 QA 对记忆，且称「训练接触 MMLU」是最可能解释方向对，引用需完整

11Jev 团队只是发现了盲区好想法OpenAI/Cloudflare/AWS 两周内下场；「盲区」定性被推翻不成立
但「算法新意有限」成立

12Laya 421M 表现相当数字成立（ModernBERT-large 395M + 决策头 25M），但成绩为开发者自报；原文只说「architecture is reproducible」归因被放大

13对巨头是利空前提/机制/趋势三层均失败；巨头已下场开源此层不成立
判断早于现实

14「误差约 ±5 个百分点」SE 随 p 远离 0.5 收窄，p=0.98 时仅 1.40pp不准确

1512 行结果可汇总比较样本池从 204 到 11,820 条不等，证据强度差 50 倍口径不齐

UNVERIFIED未证实清单

宁说没查到，不脑补。以下各项在四骑勘察中均未取得一手来源，凡引用者须知其边界：

关于 Jev 与厂商

TypeSafe 官方技术报告 / 论文全文：未查到

官方公布的校准曲线 / reliability diagram / ECE 表：未查到

Jev 参数量、架构细节、训练数据、RLCD 打分规则：未查到（厂商未公开）

jev-latest 别名从 1.13.0 发生过实际漂移的观测证据：未查到（截至 2026-10-04 仍指向 1.13.0）

关于长文与第三方数据

Laya 在相同分类类别上的对比分数（95% vs 91%、60% vs 48%）：未交叉验证，开发者自报

Gergely Orosz 关于「推理成本下降未必利好应用层」的一手原文：未查到（仅二手中文转述；其可查的一手立场与此不完全对立）

长文 12 行表格的完整逐行数值（Banking77 之外的自测细节）：未公布，本报告未作任何推测填充

知乎原文「0.3 秒只记录 FOLIO 一个 benchmark 就外推」的章节原文：未取到全文，该条判定基于仓库可见统计口径与二手转述，已降级措辞

arXiv 2609.29429、2609.26758 的原始 arXiv 页面：部分仅经智柴镜像／摘要获取，已标注

METHOD方法说明

四骑并行

番号角色任务产出

甲骑账房核数字与出处，官方数字对账，第三方横向收集，工具源码通读28 处 URL，逐行统计判定表

乙骑辩士红队辩护，为被批评方找最有利的一手数据自列对己方不利 21 条

丙骑史官机制与商业史，双系统理论谱系，同构案例与反例学术先例表 + 三层证伪

丁骑刺马红队攻击主动驳回原文 10 项站不住的攻击

统计独立复算

主报告不采信子代理的统计结论。二项检验、McNemar 配对检验、Fisher 精确检验、MDE、Bonferroni 校正、Binomial SE 全部由 _pk_stats.py 自行实现并复算。

复算过程中发现并修正了本报告自身的四处错误

其一，汇率漏换。「5 元 ÷ 2 美分 = 250 倍」未换汇，正确为 35.2 倍（汇率 7.1），作者高估约 7.1 倍。

其二，硬编码与实算不符。MDE 所需样本量初稿写 1,507 题，实算为 1,251 题（4pp 差距，p₀=0.85）。

其三，CI 与 SE 口径混用。初稿在同一段里既称「±5pp」又用 1.96×SE，须分列：SE(0.5)=5.00pp 而 95%CI 半宽(0.5)=9.80pp。

其四，首版表格误用了另一组 SE/z/p 值。ProofWriter 写作 p=0.0004（实为 0.0090）、MuSR-team 写作 p=0.00003（实为 0.0022）。这处是定稿前的自审发现——由评论稿撰写骑指出「两次复算 p 值不一致」后回头核对才查出，属口径混用而非笔误。

修正后 Bonferroni 结论不变（四组「Jev 赢」全部未通过），且脚本已加入双口径稳健性检查（合并 SE vs 非合并 SE），判定翻转组数 = 0。

四处均在定稿前修正。报告里的每个数字都该经得起第二次验算，包括我自己算的。

主动驳回

丁骑列出原文 10 项站不住的攻击并逐条驳回，其中包括：

「Jev 0.3 秒不可信」 —— 驳回，落在四家独立实测中位正中

「自测 = 不可信」 —— 部分成立，工程自律显著（seed 42 + SHA-256 manifest + 逐项披露数据坑），伤害点是结果未提交而非自测

「关闭推理不公平」 —— 驳回，代码层强制，System One 对 System One 是正确设定；真正的限定是工况而非方法

「Jev 社区榜挑战性太低 = 厂商自导自演」 —— 驳回前半（无隶属已独立确认），升级后半（计分方法迭代致其掉到 #4）

利益相关声明

本报告的核查对象是一篇公开发表的技术评论，非付费内容。Jev 相关的 arXiv 2609.37647 由 Bonn 大学独立完成，非 TypeSafe 委托；JevBench 由第三方维护，与 TypeSafe 无隶属关系。

VERDICT结论与口诀

拍 板

长文的问题意识是对的，证据链是断的。

三处断裂：样本量 / 基线口径 / 产业推论

三句话讲完

一、数字属实，不等于效应属实。12 行表格里 Jev「赢」的四组，经检验 2 组纯噪声、1 组区间退化、1 组边缘；唯一稳稳站得住的差距，是 Jev 输 21 个百分点。

二、基线配法决定结论。对手用「生成文本再解析」而非 logprobs，等于把配置差异算进了 Jev 账上；关闭思维链把结论锁在最不利的工况 —— 两个偏差方向都利于被测方。

三、「对巨头是利空」打错了靶子。发布 14 天后 OpenAI 推出 Decisions API、Cloudflare 开源 Apache 2.0 权重兼容 Jev。被开源冲击最重的是 TypeSafe 自己。

但必须给长文记功三事

把「品类价值」与「个体智能」分成两个问题来问，是本次讨论最有价值的贡献。这个切分应该保留。

主动声明「不排除针对性优化」，是难得的方法论诚实。

成本与速度的量级判断，第三方独立复现 17–250 倍，站得住。

四句口诀

差距要问不一致对数，莫把边际当证据。

二十一点是唯一真信号，方向却是它输。

对手让生成不看 logprob，赢来的不算本事。

巨头不是被抢利，是把这层开源了。

可 背 诵 金 句

Jev 证明了「便宜够用的决策」有真实价值，
但它同时证明了 —— 把决策从工作流里抠出来，
才是整件事最贵的那一步。

Jev 与「决策模型」叙事的四道关口 · 深度研究报告

勘察日期 2026-10-04　｜　方法：四骑并行 + 统计独立复算　｜　内容母本：Jev决策模型_深度研究报告.md

军报留痕：_riders/甲骑_账房.md　_riders/乙骑_辩士.md　_riders/丙骑_史官.md　_riders/丁骑_刺马.md

复算脚本：_pk_stats.py　｜　凡查不到者写「未查到」，不作脑补