8B模型靠集合级RL击败Claude Opus 4.8：训练AI不只生成好想法还要生成多样想法
你有没有这样的经历：让ChatGPT给你想10个创意点子，结果它给你的10个想法里有7个本质上是同一件事换了个说法？
你有没有这样的经历：让ChatGPT给你想10个创意点子，结果它给你的10个想法里有7个本质上是同一件事换了个说法？
这不是个别现象。当前大语言模型在生成研究想法时有一个系统性缺陷：它们优化的是单个想法的质量，而不是一组想法的多样性。模型会反复生成"最安全"的高质量想法，结果就是一篮子看起来都不错但彼此高度雷同的创意。
Salesforce AI Research 和纽约大学的团队决定正面解决这个问题。他们的论文《Training Reasoning Models to Generate Diverse Scientific Ideas》提出了一个看似简单但效果惊人的方案：用集合级别的强化学习训练模型，让它在生成每个新想法时主动"避开"已经生成的想法。
结果：一个 8B 参数的模型（基于 Qwen3-8B），在创意效用（creative utility，质量与多样性的综合度量）上击败了 Claude Opus 4.8 和 GPT-6 Astra。
集合级RL：一次生成一组，整体打分
传统的训练方式是这样的：给模型一篇论文，让它生成一个想法，然后给这个想法打分。模型学到的是"怎么生成好想法"。
但这篇论文的做法完全不同。在一次生成中，模型要同时写出 K 个结构化的"想法卡片"（idea cards），每张卡片都基于输入论文。然后，整个集合被联合打分——每个想法的质量乘以它与之前想法的距离。
这个设计很巧妙。假设你让模型生成5个想法：
- 第1个想法：质量8分，距离=0（第一个，没有参照）
- 第2个想法：质量8分，但和第1个很像，距离=0.2 → 贡献 = 8 × 0.2 = 1.6
- 第3个想法：质量7分，但方向完全不同，距离=0.9 → 贡献 = 7 × 0.9 = 6.3
两步训练法
具体实现分两步：
第一步：SFT（监督微调）。 用格式良好的想法集合做监督学习，让模型先学会"怎么写一组结构化的想法卡片"。这一步解决的是格式和基本能力问题。
第二步：GRPO（集合级强化学习）。 用集合级目标函数做GRPO训练。奖励函数是"创意效用"——每个想法的质量乘以它与之前想法的距离，再求和。这一步解决的是"怎么让想法之间互相避开"。
关键创新在于：GRPO的奖励不是给单个输出的，而是给一组输出的。模型在生成第K个想法时，必须"看到"前K-1个想法并主动选择不同的方向。这和传统的单样本RL有本质区别。
实验结果：小模型的大胜利
在团队构建的无污染测试集（contamination-free benchmark）上：
- 8B模型 > Claude Opus 4.8 > GPT-6 Astra（创意效用维度）
- 在试点人类研究中，4位领域专家评估认为 8B 模型的想法集合和 Claude Opus 4.8 一样有前景，且包含更多独特想法
- 当一个编码Agent在这些想法上跑概念验证实验时，8B 模型的 success@k（前k个想法中至少一个成功的概率）与 Claude Opus 4.8 相当
为什么这很重要？
这篇论文触及了AI创意生成的一个根本矛盾：质量和多样性是天然对立的。
当你用RLHF训练模型生成"好"内容时，模型会收敛到一种"最安全的好"——反复输出同一类高质量但雷同的内容。这就像一个厨师只会做一道拿手菜，虽然每次都很好吃，但菜单上只有这一道。
集合级RL打破了这种收敛。通过在奖励函数中显式加入"与之前想法的距离"这一项，模型被推着去探索新的方向。这和进化生物学中的"趋异进化"（adaptive radiation）很像——当竞争激烈时，物种会被推向不同的生态位。
更深层的启示
这篇论文让我想到一个更大的问题：我们评价AI的方式是不是太单一了？
当前的评价体系——不管是排行榜还是基准测试——几乎都在衡量"单个输出的质量"。但真实世界中，我们需要的往往不是"一个最好的答案"，而是"一组多样且互补的方案"。
- 研究选题：不是要一个"最好的课题"，而是要一组"互相补充的方向"
- 产品设计：不是要一个"最好的功能"，而是要一组"覆盖不同用户需求的功能"
- 战略规划：不是要一个"最优策略"，而是要一组"应对不同场景的备选方案"
8B 击败 Claude Opus 4.8 这件事也再次证明：在AI领域，训练方法的设计比模型规模更重要。一个用了正确训练目标的小模型，可以在特定维度上超越大你几十倍的对手。
论文链接：https://arxiv.org/abs/2610.22324 代码仓库：https://github.com/ManyaWadhwa/diverge_ideation
讨论回复（1）
这篇最有意思的数字，帖子没写：让模型"多想"反而输了。
论文里有个 think 变体，生成想法前先显式推理。创意效用从 0.64 掉到 0.51。但同一批实验里，think 变体的 grounding 从 0.61 涨到 0.81，而且这个差距是 RL 训练之后才出现的。翻译一下：想得越多，想法越靠谱，也越雷同。帖子说"质量和多样性天然对立"，这篇给了更细的版本——连思考时长这个旋钮都在同时拧两个方向。
第二个要修正的量级：帖子写专家认为 8B"包含更多独特想法"，论文原话是 marginally more，不相上下，还多点怪品味；胜率 0.34 对 0.50，其实没赢。真正悬殊的是 GiantsBench 上对 GIANTS-4B：68.3% 对 18.3% 的胜率，距离分 0.939 对 0.025。
还有个工程细节值得偷师：质量裁判和距离裁判是两个模型——质量用 GPT-5.4-mini 按长度控制胜率，距离用 gemini-3.5-flash。想让模型学会"避开"，先得有人会量"距离"。