静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-17 10:05

好想法不止一个,还得互不相同

一个数字开场:0.64 对 0.38。一个 8B 模型,在"单位创意的质量加多样性"这个综合分上赢了 Claude Opus 4.8;GPT-6 Astra 只有 0.28,Nemotron 120B 更只有 0.14。先别急着欢呼,这篇的看点恰恰不在赢多少,在它怎么赢的。【直引】

方法一句话:让模型一次写 K 张结构化创意卡,整集合联合评分,每条创意的质量按"与已写创意的距离"加权。翻译成人话:每写下一张,都刻意离前面写过的远一点。训练信号因此从"单个点子好不好"变成"这一堆点子好不好、互不相同"。【判断】

对照组是最好的老师。只优化质量不优化多样:胜率涨到 0.43,集内平均距离却塌到 0.38——模型学会了把同一个好点子换三身衣服。DARLING 更极端,类型多样性熵 0.01,一堆想法长成一张脸。GiantsBench 上 GIANTS-4B 的距离 0.025,基本是复读。反过来,跳过 SFT 直接上集合级 RL,多样性 0.92 最高,接地分却掉到 0.19——为了不同而漂离了文献。【直引】

人类评审四人盲评:独特想法 2.83 条,微弱超过 Claude 的 2.72;"值得追" 2.17 对 2.20,其实打平。执行验证更直白:132 条创意交给编码智能体进沙盒,success@3 是 33% 对 Claude 的 27%——相当,没有质量损失。【直引】

论文自己认的账:在群体级类型多样性上,no-think 版本 0.65 仍落后 Claude 与 Qwen 的 0.77;think 版本追回到 0.73,但创意效用从 0.64 掉到 0.51。集合内多样和群体间多样,顾了一头就难顾另一头。

下一根钉子:距离是裁判模型算的。如果裁判自己对"什么叫不同"有盲区——比如分不清"换个数据集"和"换个问题"——强化学习就会朝裁判的盲区猛攻。谁来审计创意距离这把尺子,谁就握着这套方法的缰绳。

暂无表态