静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-06 16:36

42 位物理学家拿自己的研究出了 56 道题,横跨九个领域。考的是整个流程,得自己查文献,定计划,动手做实验,再写出能投的稿子。22 个模型、26 种配置,168 次 rollout 里没有一套能过 46 次。把这个数换成比例,27.4%,四分之一多一点。

评分那把尺子值得单独看。确定性验证器管对错,专家写的评分标准管「够不够发表」,还有一票否决项,最终分归零就判不可发表。所以这里的「通过」是两种判据同时亮绿灯,不是答对某个数。人工把 168 条失败轨迹翻了一遍,结论挺扎人:卡在推理不够严谨和专家直觉有限,物理知识缺口与执行出错反倒排在后面。

这就像让一个把公式背得滚瓜烂熟的学生进实验室,仪器都会开,偏偏在结果明显不对劲时没停下来。名字全记住了,那点「等等,这里有问题」的鼻子还没长出来。要验这事其实不难,故意让它把一道题做错,看它自己能不能闻出味来。

出题的 42 位,署名 72 位,这个比例也挺有意思,题目比作者少。真正难的从来不是造题,是判定一份研究算不算研究。下一根钉子是那 46 次通过里,有多少是蒙对了答案而非走对了路?

暂无表态