53 毫秒与 30 秒之间

工单该分到哪个队列，这条消息有没有踩政策红线，抽出来的字段合不合格——很多大模型的活，最后落成一个选择：从几个固定选项里挑一个字母，交给代码去执行。这类问题有个共同点：答案不需要写成文章，需要的是每个选项的概率。

一道这样的题，摆在同一个模型面前，有两种答法。直接读：一次前向，53 毫秒。先想再读：让模型写一段思考再给答案，中位数 30.3 秒，1038 个思考 token。后者准确得多——尤其在算术、计数、日期比较这种一步答不对的题上。问题就卡在这 30 秒里：简单题也付 30 秒，太贵。

一篇 10 月底挂出的论文 ThinkJev，把这两种答法接在了同一个模型上。作者是福建博思软件的三位研究员，代码开源。它没有训练任何新权重，全部功夫花在「怎么决定想不想、什么时候停」上。

一个模型，两个系统

底座是一个混合思考模型（论文用了 Qwen3.5 的 4B、9B、27B 三个尺寸），它天生有两种输出方式：直接答，或者先写一段思考再答。ThinkJev 把前者当系统一，后者当系统二。关键设计是：两者共用同一份 prompt 的 KV 缓存。简单题直接读答案；需要思考时，从缓存接着往下写——升级的代价只是思考本身，prefill 一次都不用重算。

更妙的是「随时可读」。选项答案是字母（A、B、C……），而字母的概率在思考进行到任何一步时都能读出来。于是同一段思考，在 100 个 token 时读一次是一个「思考预算」，在 500 个 token 时读一次是另一个预算。论文在附录里证明了这件事：检查点等价于思考预算。想一遍，等于把所有预算都想了一遍。

中间读数有个坑，论文处理得很细：模型越想越「自信过头」。原始置信度上升的速度，比正确率上升的速度快——27B 模型的校准温度从直出时的 1.61 一路拧到想完时的 4.07。也就是说，想得越久，它的裸置信度越吹牛。所以每个检查点单独配温度校准，中间读数才可信（校准误差压在 0.02 到 0.04 之间）。

谁能直接答，让统计说了算

决定哪些题直接答，直觉做法是看模型自己的把握：直出置信度高就放行。ThinkJev 不这么干，它用了一套统计学流程：在一批标注好的开发集上，从最严到最松逐个候选阈值做检验，每个阈值用 Clopper-Pearson 单侧上界验证「放行的决策错误率不超过目标」，测试到第一个不合格的为止。过了检验的阈值原样搬到测试集上——放行多少、错多少，保证有数。

5% 目标错误率下，27B 模型在 8359 个测试决策里放行了 24.5%，实测错误率 3.9%。更有意思的是另两个模型的表现：4B 只敢放行 6.5%，9B 的放行数是零——一个都不放。统计门不看你多自信，只看证据够不够。9B 的直出错误率撑不起任何放行阈值，门就一票不放。这是这套流程诚实的地方：它宁可让系统二全包，也不给你一个撑不住的承诺。

放行的部分毫秒级直出。剩下的进系统二，边想边读：哪个检查点置信度过线，就在哪里停。结果：81.6% 的准确率，对照「每题都想满」的 82.7%，省了 72% 的思考 token。花 1.1 个百分点，买七成的思考开销。

直觉为什么不够用

论文里最有信息量的一段，是把直觉做法拿出来打了靶。按置信度路由——不自信的升级——省得很少。原因藏在数据里：系统一最没把握的那些决策，有相当一部分是思考也修不好的，多步推理错了就是错到底，想多久都一样。升级它们，钱花了，分没涨。

论文还试了三个路由器：让模型自己判断「这题能不能一眼答」的零样本路由、读隐藏状态的探针路由、n-gram 路由。前两个的排序能力居然不输统计门，但所有策略离理想路由都还差一半以上——27B 上最好的归一化面积只有 0.491。「哪些题值得想」这件事，目前没有一个信号能独立扛住。把门的置信度和零样本分数拼在一起（事后拟合的逻辑回归），才在所有模型上全面占优。

跟商业 API 对了一把

论文自己的测试集没法对比商业服务（没调人家接口），于是借了一个独立基准：JevBench，231 道公开的类型化决策题，被测系统包括 Jev 1.13.0 和两个商业思考 API（DeepSeek V4.1 Flash、GPT-5.6 Luna）。ThinkJev 的 27B 只在 29.4% 的题上触发思考，精度与两个商业 API 打平——论文老实标注了这是探索性结论。两条注记值得带上：JevBench 的总分计速度和成本，这里只报精度；升级后的决策要等秒级，而 Jev 本尊亚秒出答。想得少没输精度，但没赢速度。

局限论文也摆得坦白：每个决策只采一次思考，没有第二种子兜底；温度和阈值只在自家开发分布上有效，换个领域要重新标定，改预算还得重拧温度；成本只数思考 token，中途读检查点的那些小前向没算进去。

回看那组数字：53 毫秒的直出，30 秒的思考，中间隔着一道由 Clopper-Pearson 上界守着的门。27B 在 JevBench 上只想了 29.4% 的题，精度跟两个商用思考 API 打平。这不是模型变聪明了，是「哪些题不用想」第一次有了统计学背书。

信源：ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions（arXiv:2610.37732，2026-10-27，Xiaolu Ding、Kai Yang、Dongdong Liu，福建博思软件；代码 github.com/ding-xiaolu/ThinkJev）。数字均出自论文：53ms 前向与 30.3s/1038 token 中位思考（5.8 节，H200 单卡）、8359 决策分块表（A 日常 2626/B 公开推理 2487/C 多步 3246）、5% 目标下 24.5% 放行与 3.9% 实测错误率（4B 6.5%/9B 0.0%）、81.6% vs 82.7% 与 72% 思考 token、温度 1.61→4.07 与 ECE 0.017-0.036、路由器对比 0.491（5.7 节）、JevBench 231 题与 29.4% 思考占比（5.9 节，exploratory 标注为论文原文）；局限四条出自第 6 节。素材为营销体视频文案，四组数字声明与论文逐条核对无误，归属公司为素材未提的补充信息。