8B模型靠集合级RL击败Claude Opus 4.8：训练AI不只生成好想法还要生成多样想法

你有没有这样的经历：让ChatGPT给你想10个创意点子，结果它给你的10个想法里有7个本质上是同一件事换了个说法？

这不是个别现象。当前大语言模型在生成研究想法时有一个系统性缺陷：它们优化的是单个想法的质量，而不是一组想法的多样性。模型会反复生成"最安全"的高质量想法，结果就是一篮子看起来都不错但彼此高度雷同的创意。

Salesforce AI Research 和纽约大学的团队决定正面解决这个问题。他们的论文《Training Reasoning Models to Generate Diverse Scientific Ideas》提出了一个看似简单但效果惊人的方案：用集合级别的强化学习训练模型，让它在生成每个新想法时主动"避开"已经生成的想法。

结果：一个 8B 参数的模型（基于 Qwen3-8B），在创意效用（creative utility，质量与多样性的综合度量）上击败了 Claude Opus 4.8 和 GPT-6 Astra。

集合级RL：一次生成一组，整体打分

传统的训练方式是这样的：给模型一篇论文，让它生成一个想法，然后给这个想法打分。模型学到的是"怎么生成好想法"。

但这篇论文的做法完全不同。在一次生成中，模型要同时写出 K 个结构化的"想法卡片"（idea cards），每张卡片都基于输入论文。然后，整个集合被联合打分——每个想法的质量乘以它与之前想法的距离。

这个设计很巧妙。假设你让模型生成5个想法：

• 第1个想法：质量8分，距离=0（第一个，没有参照）
• 第2个想法：质量8分，但和第1个很像，距离=0.2 → 贡献 = 8 × 0.2 = 1.6
• 第3个想法：质量7分，但方向完全不同，距离=0.9 → 贡献 = 7 × 0.9 = 6.3

模型很快学到：与其生成第3个"安全但雷同"的8分想法，不如生成一个"稍逊但独特"的7分想法。这就像一个乐队作曲——如果前两首都是摇滚，第三首来一首民谣会让整张专辑更有价值，哪怕单首质量略低。

两步训练法

具体实现分两步：

第一步：SFT（监督微调）。 用格式良好的想法集合做监督学习，让模型先学会"怎么写一组结构化的想法卡片"。这一步解决的是格式和基本能力问题。

第二步：GRPO（集合级强化学习）。 用集合级目标函数做GRPO训练。奖励函数是"创意效用"——每个想法的质量乘以它与之前想法的距离，再求和。这一步解决的是"怎么让想法之间互相避开"。

关键创新在于：GRPO的奖励不是给单个输出的，而是给一组输出的。模型在生成第K个想法时，必须"看到"前K-1个想法并主动选择不同的方向。这和传统的单样本RL有本质区别。

实验结果：小模型的大胜利

在团队构建的无污染测试集（contamination-free benchmark）上：

• 8B模型 > Claude Opus 4.8 > GPT-6 Astra（创意效用维度）
• 在试点人类研究中，4位领域专家评估认为 8B 模型的想法集合和 Claude Opus 4.8 一样有前景，且包含更多独特想法
• 当一个编码Agent在这些想法上跑概念验证实验时，8B 模型的 success@k（前k个想法中至少一个成功的概率）与 Claude Opus 4.8 相当

最后一点特别重要：它说明增加多样性并没有牺牲可执行性。模型生成的那些"不同方向"的想法不是天马行空的幻想，而是真的能跑通的概念。

为什么这很重要？

这篇论文触及了AI创意生成的一个根本矛盾：质量和多样性是天然对立的。

当你用RLHF训练模型生成"好"内容时，模型会收敛到一种"最安全的好"——反复输出同一类高质量但雷同的内容。这就像一个厨师只会做一道拿手菜，虽然每次都很好吃，但菜单上只有这一道。

集合级RL打破了这种收敛。通过在奖励函数中显式加入"与之前想法的距离"这一项，模型被推着去探索新的方向。这和进化生物学中的"趋异进化"（adaptive radiation）很像——当竞争激烈时，物种会被推向不同的生态位。

更深层的启示

这篇论文让我想到一个更大的问题：我们评价AI的方式是不是太单一了？

当前的评价体系——不管是排行榜还是基准测试——几乎都在衡量"单个输出的质量"。但真实世界中，我们需要的往往不是"一个最好的答案"，而是"一组多样且互补的方案"。

• 研究选题：不是要一个"最好的课题"，而是要一组"互相补充的方向"
• 产品设计：不是要一个"最好的功能"，而是要一组"覆盖不同用户需求的功能"
• 战略规划：不是要一个"最优策略"，而是要一组"应对不同场景的备选方案"

集合级RL提供了一种训练AI的新范式：不再优化单点质量，而是优化集合的多样性和质量的联合。这也许更接近人类专家的思维方式——一个好的研究者不是只会想一个最好的idea，而是能同时维护多个不同方向的研究线索。

8B 击败 Claude Opus 4.8 这件事也再次证明：在AI领域，训练方法的设计比模型规模更重要。一个用了正确训练目标的小模型，可以在特定维度上超越大你几十倍的对手。

论文链接：https://arxiv.org/abs/2610.22324
代码仓库：https://github.com/ManyaWadhwa/diverge_ideation