当 GPT-5.4 玩"二十个问题":LLM 研究构思的瓶颈不在判断,在生成
一场特殊的二十问
你玩过"二十个问题"吗?一个人心里想一个东西,另一个人只能问是非题来猜。好的玩家不是靠运气,而是靠"信息论"——每个问题都应该把候选空间劈成两半,像二分查找一样逼近答案。
现在把这个游戏升级一下:目标不再是一只猫或一个名人,而是一篇 ICML 2026 论文的核心想法。你只被告知这篇论文的研究问题(比如"如何让大模型在长对话中不迷失"),然后你有 100 个是非题的预算,要重新发现论文提出的核心方案。
这就是 Re-Search(论文 arXiv:2611.14487)设计的游戏。作者来自 Texas A&M 和 Johns Hopkins,一作 Muhan Gao,通讯 Kuan-Hao Huang 和 Daniel Khashabi。他们用 200 篇 ICML 2026 论文做靶子,让六个最近的大模型(GPT-5.4、Claude Sonnet 4.5、Gemma-4-31B、GPT-OSS-120B、Qwen3.6-35B-A3B、DeepSeek-V4-Flash)轮流当"提问者",Gemma-4-31B 当"答题者",三位 LLM 评委打分。
听起来像个游戏,但它真正要回答的问题严肃得很:当 LLM 做研究构思时,到底是什么卡住了它们?
30 题定生死
游戏跑完,最扎眼的发现是一条曲线。
所有六个模型,在前 10 个问题里分数飙升(+1.3 到 +3.2 分);11-30 题再涨一点(+0.2 到 +0.8);30 题之后,三个模型几乎停滞,两个缓慢爬升,只有 GPT-5.4 还在稳定向上。
这意味着什么?100 个问题的预算,真正起作用的只有前 30 个。
作者用了一个叫"前缀分叉"(prefix-fork)的实验来验证这个结论。对每篇论文,每个模型跑三局,取最高分和最低分的那两局,在第 k 题截断,然后各自再续跑三次到 100 题。如果开局真的决定结局,那么高分前缀的续跑应该最终仍然领先。
结果触目惊心:在第 30 题分叉的实验里,最高分前缀有 73%-79% 的概率最终仍然领先。30 题时的分数与 100 题时的分数相关系数高达 0.87-0.92。
这和最近一系列关于 LLM 长程任务的研究结论一致:模型容易在早期"锁死"在某个方向上,之后很难纠偏。 Laban 等人 2026 年的研究就发现 LLM 在多轮对话中会"迷失",Sinha 等人发现长程执行中存在"收益递减的幻觉"。Re-Search 把这个现象精确地定位到了研究构思这个子任务上。
知识不是瓶颈
一个自然的猜测:强模型之所以强,是因为它们"知道"更多论文,能直接列出候选方案。
作者设计了一个"闭卷探测"实验来排除这个解释。选 100 篇论文,让 GPT-5.4 和 GPT-OSS-120B 分别列出 30 个候选方案,看谁能命中论文的核心想法。结果在 24 篇两个模型都能列出核心想法的论文上,GPT-5.4 仍然比 GPT-OSS-120B 高 2.28 分——而整体差距是 2.54 分。知识只能解释差距的 10%。
知道答案不等于能问出对的问题。这是 Re-Search 第一个反直觉发现。
能判断,但生不出来
既然不是知识,那就是提问能力的问题。提问其实分两步:生成候选问题,然后选择最好的一个。哪一步是瓶颈?
作者做了一个精巧的实验。让 GPT-5.4、Qwen3.6、DeepSeek-V4-Flash、GPT-OSS-120B 四个模型每轮各自独立提出一个问题,然后让其中一个模型当"选择者",从四个候选里挑一个问。
结果令人意外:四个模型当选择者时,最终分数几乎一样(5.19 到 5.34),无论谁选。弱模型 GPT-OSS-120B 比单飞时高了 1.04 分,Qwen3.6 高了 1.09 分,DeepSeek 高了 1.07 分。而强模型 GPT-5.4 反而降了 0.59 分。
这说明:弱模型缺的不是判断力,是生成力。 它们能认出好问题,但自己提不出来。
为了进一步确认,作者做了两个对照实验。第一,让 GPT-OSS-120B 自己生成 4 个候选,自己选(best-of-4 采样),分数只从 4.16 涨到 4.57,远低于四模型池的 5.20。第二,用四模型池但随机选问题,分数降到 4.43,和单飞差不多。
生成和选择都重要,但生成的差距更大。 换选择器几乎不影响分数,换候选池影响巨大。
假设空间的"外部注入"
如果说问题候选池是"战术层面"的外部援助,那么"综述"(survey)就是"战略层面"的外部援助。
真实研究中,研究者不会从一张白纸开始,脑子里总有一个大致的"候选方案空间"——知道这个问题可能有五六个大方向,每个方向又有几条具体路径。Re-Search 给模型也提供了类似的"综述":5-7 个维度,每个维度 4-6 个候选方法,像一张地图铺在模型面前。
关键设计:综述里可能包含论文的真实核心想法(C_full 条件),也可能被替换成一个似是而非的"诱饵"(C_decoy),或者把指向论文的线索全抹掉(C_dummy),或者干脆不给综述(C_none)。
结果:给弱模型一张包含正确答案的综述,它们的分数能提升最多 1.25 分;而且越弱的模型获益越大(相关系数 r = -0.74)。GPT-5.4 在四种条件下几乎一样——它本来就能自己想到。
更有意思的是模型如何使用综述。综述里列了 20-42 个候选,但模型在 C_full 条件下,中位数 3-6 个问题内就会问到那个被点名的核心想法。它们不是在逐项排除,而是识别出了正确方向。
这进一步印证了核心结论:模型能认出好想法,但自己放不进假设空间。
两种失败的搜索形状
论文最漂亮的分析在第六节。作者把每局游戏的提问序列转成一棵树:每个问题要么是某个之前问题的子节点(追问),要么是根节点(新开方向)。用 GPT-6 Astra 做标注,1200 棵树就建起来了。
树的形状暴露了两种截然不同的失败模式:
过度开采(over-exploitation):DeepSeek-V4-Flash 和 Qwen3.6 平均每局只开 5.2-5.5 个顶级分支。一旦确认某个方向,它们就在这个方向里反复枚举变体。比如得知论文用"权重统计"做量化尺度后,DeepSeek 会花几十个问题猜到底是哪种统计量,从不问"会不会根本不是这个路子"。这两个模型 23% 的问题都是这种枚举式追问。
过度探索(over-exploration):GPT-OSS-120B 平均每局开 13.7 个分支,不管反馈如何都跳新方向。它是唯一一个在得到"Yes"之后比"No"更容易换分支的模型。
平衡型:三个强模型(GPT-5.4、Claude Sonnet 4.5、Gemma-4-31B)开 7.2-8.2 个分支,既追确认的方向,也适时跳出来。
作者拟合了"顶级分支数"与"最终分数"的二次关系,发现倒 U 形曲线的峰值在 8.3 个分支。太少会陷入局部最优,太多会变成随机游走。
这个发现让我想起强化学习里经典的 explore-exploit 权衡。Multi-armed bandit 的最优策略是 ε-greedy 或 UCB,既不能死磕一个臂,也不能每轮都换。Re-Search 的模型树形状,本质上就是 LLM 在研究构思任务上的 explore-exploit 行为画像。弱模型要么是纯 exploit(DeepSeek),要么是纯 explore(GPT-OSS),强模型才是合格的 ε-greedy 代理。
对自动研究系统的设计启示
这篇论文的落点非常实用。如果你在构建一个 AI 科学家系统(autoresearch),应该怎么用这些发现?
第一,不要只卷单一模型的生成能力。 既然模型能判断自己生成不出的候选,那么从外部注入候选——其他模型提的问题、文献综述里的方法家族、甚至人类专家的建议——可能比等模型自己想出来更划算。
第二,早期问题最关键。 30 题定生死意味着,如果前 30 题走偏了,后面 70 题几乎救不回来。自动研究系统应该在早期阶段投入更多资源——比如用更强的模型、更多样的候选池、更丰富的综述——而不是平均分配预算。
第三,监控搜索树的形状。 如果一个 agent 开了 13 个分支还在跳,或者开了 5 个分支还在同一个方向枚举,就该介入了。树形状是一个可观测的信号,比看最终分数早得多。
第四,分离构思与执行。 Re-Search 的核心方法论贡献是把"想 idea"和"做实验"解耦。现有 AI 科家系统(AI Scientist、MLE-bench、Agent Laboratory)都把两者混在一起评,失败时不知道是想法错了还是代码错了。Re-Search 提供了一个干净的诊断接口。
一个更深的问题
这篇论文让我想到一个更深的认识论问题。
科学哲学家 Klahr 和 Dunbar 在 1988 年就提出,科学发现是"双空间搜索"——在假设空间和实验空间之间来回。Re-Search 把假设空间的搜索单独拎出来,发现 LLM 的瓶颈不在"评估假设"(判断),而在"生成假设"(构思)。
这其实和人类科学家很像。一个成熟的研究者,看到自己领域里 10 个提案,能迅速挑出最有希望的那个;但让他自己从零提出 10 个提案,质量会差很多。识别品味 > 生成能力,这似乎是智能体认知结构的普遍特征,不分碳基硅基。
Re-Search 的作者把这个洞察转化成了一个工程建议:既然生成是瓶颈,那就用外部来源丰富候选池。这让我想到最近 AlphaEvolve 和 FunSearch 的思路——用 LLM 当生成器,用程序验证当判断器,进化算法在中间做选择。Re-Search 的数据为这种"生成-判断分离"的架构提供了实证支撑。
论文没有开源代码(GitHub 链接只有 LaTeXML 的 issue 页面),但数据集和评测框架的描述足够清晰,有能力的团队可以复现。200 篇 ICML 2026 论文、6 个模型、3 局/篇、100 题/局——这个规模在当前 AI 科研评测里算中等偏上。
结语
Re-Search 用一个古老的认知科学范式(二十个问题,1966 年 Mosher 和 Hornsby 就开始研究儿童怎么玩),照出了当前 LLM 研究构思能力的一张 X 光片:早期锁定、生成瓶颈、两种失败形状、外部候选的杠杆效应。
GPT-5.4 在这个游戏里遥遥领先,但即便它,100 个问题之后也远没有把论文想法完全恢复出来。这说明研究构思的"搜索空间"比我们想象的要大得多,也稀疏得多。
下次你看到一个 AI 科家系统声称"自动发现新知识",不妨问一句:它在前 30 个问题里,到底搜到了什么?