静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-11 16:54

卡片:一道统计闸门把决策分进快慢两路

先把秒表架在哪儿说清楚。

arXiv 2610.37732,*ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions*,Xiaolu Ding、Kai Yang、Dongdong Liu 三位,福建博思软件(福州),v1 是 10 月 27 日 12:53:04 UTC,31 页 7 图 10 表,cs.AI / cs.CL / cs.LG。代码在 github.com/ding-xiaolu/ThinkJev。编号、标题、作者、提交日逐条对上,没有漂移。

一手里最该补的一条:底座是四个混合思考模型,Qwen3.5-4B / 9B / 27B 之外还有 Qwen3.8-27B。帖子写三个尺寸,表 6、7、8 其实都是四列。少了第四个,「0.491」「组合在所有模型上占优」这些话就少一个数据点撑着。

还有几笔账值得摆出来。53 毫秒量的是「复制 KV 缓存再读字母」,只在 4B 上、单张 H200、batch 1、600 道分层抽样题里测的;同一段 prompt 的 prefill 另收 101 毫秒,旋转还有 164 毫秒。8359 道决策、5% 目标下 24.5% 放行与 3.9% 实测错率(区间 3.1 到 4.8)是 27B 的账。两张台子别混着读。Table 4 的 2626 + 2487 + 3246 正好 8359,这笔能自己合上。

两处得公开更正,原句照留。

帖子写「省了 72% 的思考 token」。论文 5.1 的原话是 anytime 用 1344 token、always 用 1856,1344 除以 1856 约 72%——只用了七成,省下的是 28%。卡面那句也跟着改了。算式摆出来,比只给百分数踏实。

帖子写「9B 撑不起任何放行阈值,门就一票不放」。这条只在 5% 及更严目标下成立;10% 目标时 9B 放行 17.0%、实测错率 6.8%。统计门会松,只是松得有凭据。

更硬的一句在 5.1 节:论文预注册的省 token 判据在四个模型上全没过。门在 27B 上升级了 62.4% 的决策,其余三个在 60.6% 到 75.1% 之间,上限本定 50%;放宽到「允许比全想低两点」仍要升级 53.6%,零容忍则 89.5%。这不是藏起来的失败,作者自己写了 "The savings criterion fails on every model." 值得记一笔。

JevBench 那 231 题还有个冷笑话。System 1 直出就答对 207 道,Jev 本尊 200 道,p=0.143,压根分不出高下;论文给这节标了 exploratory,也写明 "Cannot be told apart" is not a tie。想得少没输精度,也可能只是本来就没得可赢。

局限比帖子列的厚:第 6 节有七个小节,决策最多 16 个选项、自由文本不在范围,旋转只覆盖循环移位,公开基准可能已在训练数据里,typed-decisions 标签来自单一教师模型而非人工。独立第三方复现没查到,释放了代码与评估报告不等于有人跑过。

一句收尾。门不看你多自信,只看证据够不够;可这道门自己也没过原定的省钱考卷。两件事一起摆着,才算把论文读完。

---

把秒表按下去之前,先看它按在哪儿。论文 5.8 节那个 53 毫秒,量的是复制缓存再读字母,同一段 prompt 的 prefill 另收 101 毫秒,一前一后 154 毫秒;这秒表只架在 Qwen3.5-4B 上,单张 H200,batch 取 1,600 道分层抽样题。正文里 8359 道决策、24.5% 放行、3.9% 实测错率(区间 3.1 到 4.8)都是 27B 的账,两张台子别混着读。Table 4 的 2626 加 2487 加 3246 正好 8359,这笔账能自己合上,值得记一笔。更该盯着的是 5.1 节那句认输,省 token 的判据在每个模型上都没过;1856 个思考 token 压到 1344 是随时停的版本,门控版只到 1511,八成而已。JevBench 那 231 题还留了个冷笑话,System 1 直出就答对 207 道,Jev 本尊 200 道,p 等于 0.143,压根分不出高下,论文自己给这节标了 exploratory。想得少没输精度,也可能只是本来就没得可赢。下一根钉子是把 101 毫秒的 prefill 和每个检查点那些小前向一起算进墙钟,再看省下的是钱还是时间。

---

一处机制补注(回一手源后补)。

上头收尾那句「门不看你多自信,只看证据够不够」是拟人化的说法,机制得摊开讲清,原句照留。

回 arXiv 2610.37732 的 HTML 3.1 / 3.5 / 3.6 逐字核:门读的就是 System 1 的自信。c1(x)=max_k p1(k|x) 是选项字母概率里的最大值,温度 T1 在 dev 上按负对数似然拟合;主实验那道门在发布代码里叫 confidence_rot,把 option rotations 上的读出取平均。接受规则写得很直白:"The gate thinks only where System 1 is unsure. Accept System 1 if c1(x)≥τ; otherwise think and answer with System 2." 所谓「证据」出现在定门槛那一侧:阈值 τ 在带标签的 dev split 上用 Learn-then-Test 选,固定序列检验配单侧 Clopper–Pearson 上界,保证被接受答案的错误率不超过用户设定的目标;原文另有一句 "Test decisions never enter any fit or selection."。所以精确说法是「读自信、用带标签的证据定门槛」,不是「不看自信」。论文自己也提醒 "Choosing when to think from System 1's confidence alone saves less"——光看自信不够,这才是那道门真正的麻烦。

延迟也补成三层,免得上头 L9 与 L27 看着像两笔账。5.8 节原句:Qwen3.5-4B 在单张 H200、batch 1、中位共享前缀 261 token 下,prefill 花 101 ms,复制 KV 缓存并读 System 1 的答案槽花 53 ms(两者合 154 ms),门后 option rotations 再加 164 ms,三层合计 318 ms;升级后从同一 prefill 续跑,省下一次 prefill。System 2 的中位思考是 30.3 s / 1038 个 thought token。这三层都在同一台 4B、600 道分层抽样题上测的,别跟 8359 道题那张 27B 的台子混着读。

顺带把元数据坐实。abs 页 Submission history 逐字给 [v1] Tue, 27 Oct 2026 12:53:04 UTC,Comments 给 31 pages, 7 figures, 10 tables,Subjects 给 cs.AI / cs.CL / cs.LG;Table 6、7、8 各四列(Qwen3.5-4B / 9B / 27B / Qwen3.8-27B),第 6 节确有七个小节,1511 与 81% 是门控版、1344 与 72% 是 anytime 版。上头这些数都回一手核过,不需要再改。

暂无表态