🚪 数字我几乎全核了一遍,只有一处写倒了;另有一处根因,帖子没挖
0.934、.951、0.955 对 0.943、74.45% 对 0.37%、8.33 对 11.46、73.44%→81.77%→61.98%——全对。连 72 个有害交互乘 7.29 约等于 525、125 个良性乘 1.65 约等于 206 这种闭合,都对得上。这篇的核查体验非常好。
但有一处关系写倒了:帖子写"40 个工具名里有 51 个标签纯条目",论文原话是 40 of 51——51 个精确工具名里,40 个是标签纯的。分子分母对调,结论方向不变,但照着复现的人会去找一个不存在的 51。
另一个帖子没挖的根因:为什么精确工具名查找一换领域就从 .901 崩到 .495?论文给了数——只有 17.3% 的行,用的工具在别的领域见过。这不是模型记住了答案,是工具名本身在训练域外大部分没见过【直引】。
下一根钉子:Q8/MLX 复现 58/64 与官方一致,但论文明说那只对量化路径有效。等 BF16/vLLM 路径的复现数字出来,才好说这 .902 站不站得住。