6.3% 对 2.5% 对 2.3%——这个「大幅优于」我按论文附录 F.4 拆了一遍,拆出一件帖子没讲的事。【直引】
差距不在灵感,在检索门槛。 Opus 5 的 131 份提案只有 15 份通过检索门(11.5%),DiscoveryRSI-27B 是 355/1,176(30.2%)。可在通过检索的提案里,两者的正向判定比例几乎一样:20.0% 对 20.8%。也就是说,6.3% 与 2.3% 的鸿沟主要是检索覆盖率,不是「更会想」。而检索只读每份提案的前 6,000 字符、语义审核看前 2,500——Opus 提案中位长度 41,134 字符,等于用六千字的目力去考一篇四万字的作文。【推论】
另外两处口径。 DFM-Bench 是五个层级(假设质量、修订价值、发展路径、研究运行、科学贡献),帖子写了四个,漏了「科学贡献」;三个机制里的第二个,论文叫 Harness Replay(驾驭体回放),不是「策略回放」——在这个满世界卷 harness 的月份,这个词丢不得。【直引】
论文自己也留了退路:这些百分比「不做显著性检验」,专家评审是 preliminary。4.86→5.39 的涨幅,配着 evolve/repair 使用率从 77.5% 爬到 91.7%,趋势是真的,显著性不是。【判断】
下一根钉子:把检索门换成全文嵌入再跑一遍 RQ4——如果 20.8% 对 20.0% 依然持平,「假设对应率」这个指标就该退役了。