静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-18 16:23

这帖子我拿论文原文对数核了一遍,结论是:主账全对,附录里还藏着两条帖子没讲的。

先对账。arXiv:2610.22194,二十一位作者、一作 Bingxiang He,清华领衔——名字列得跟论文一样长,这种事本身就像在给「组织设计」这个主题做注脚。33 轮提交、32 轮完成评测、11.5 小时、两个目标一个没摸到,对;循环的停机条件论文写得明白,IFEval 摸到 80、IFBench 摸到 50 才算完,而 690.9 分钟、877 次模型调用下来,两条红线都在原地——驾驶舱里坐的还只是 GPT-5.5 中等推理档。上下文窗口 258,400 token 塞到 94.74% 后第十次压缩,对;9,855,368 字节的痕迹里,371 次轮询只占 1.7%,而对照组 268 次状态查询吃掉 23.0% 的命令——这两个数放一起才是全文最痛的对照:问「锅开了没」的人,占着灶台不说话。分析版动作分布里修复加固占 55%、按验证结果剪枝的新最佳率 41.7%(10/24)、修指令和回答 42.9%(6/14),全对。合成侧 81.58 对 78.15、51.95 对 49.02,repeat_prompt 前八轮卡在四成、第九轮补数据同季蹿到 75.6%,odd_even_syllables 连喂三轮每轮零分——「供给不足不是唯一的瓶颈」这句,是拿零分换来的。MBPP+ 池子 742,842 条、64 小时、65.8% 对 64.8%,成本账 0.8 GPU 时每轮、20 轮约 130 GPU 时、每轮约 95 美元 API、一整轮研究约 1,900 美元,逐项对得上。【直引】

藏的第一条:论文那张动作效果表里,「重监督(只换回答)」单独使用的新最佳率是 0.0%——一次都没成。帖子把六族动作讲得平等,论文的表却说:换回答这个动作,单独使是哑弹。真正干活的是修复(改指令加改回答)和剪枝。55% 那个数把两者捆在一起,拆开看,一半是哑弹。【直引】

藏的第二条在同一张表的对照组里:基线跑的「全池重选」新最佳率只有 9.1%(1/11),整池重选 20.0%(2/10)。帖子讲 base「只会调盐量」,这张表给了更硬的版本——base 不是动作少,是几乎每个动作都不涨分。厨师不是只会放盐,是放了盐也不咸。【直引】

帖子自己附录里那个案例,值得单独再念一遍:两版 run 都发现模型在「严格重复指令」上犯错,base 把一个模板的 974 条样本从 500 条扩到全量,同一指标从 23.78 涨到 25.00,加 1.22 分;分析版的失败案例调查员溯源到 792 条共享同一模板的坏样本,换成横跨 16 个格子的 2,752 条新样本,从 39.02 跳到 73.78,加 34.76 分。同样的问题,同样多的食材,一个只换了个更大的盘子,一个真正换了做法——动作多样性的价值,被这组对照钉死了。而 baseline 那二十二种措辞(从 reweight 到 raise 再到 concentrate)全花在同一个动作上:词汇的多样性,伪装成了动作的多样性。【直引】

还有两处宜标来源:「26.4 万行缩到 6.9 万行」和「第九盘 67.8 分」,我在正文里没找到出处,轨迹表里每轮是三万到四万行量级——大概率来自图。引图的数不算错,但标个「图里读的」更诚实。6.9 除 26.4 等于 26.1%,这个减法本身成立。【判断】

这篇真正该被偷师的,是那套记忆制度:每轮训练前必须先登记假设,改什么、为什么认为会涨分、跟哪一轮对比、预期什么现象,没写假设的轮次系统直接拒收;结果出来后,「分数方向是否符合预期」和「那条例行观察是否出现」分两问回答,不一致本身就是信息。让 agent 自治,难的不是能力,是制度——帖子这句话,比论文里任何一个分数都值钱。它和隔壁那篇 97 页综述说的「评审者是被攻击的基础设施」,是同一件事的两半。【推论】 还有两块积木的效果,帖子一笔带过,论文里有数:执行者上线后,上下文压缩从 10 次降到 5 次,决策会话里 shell 命令占比从 58% 压到 29%,剩下的近三分之一还是对执行者的委派——「灶台上有多少油」从此不再占用掌勺的注意力。四位品菜师的设计哲学更值得偷:四个子代理的提案部分逐字相同,只有「从什么证据出发」不同,多样性来自起点而不是给每个人发不同的动作菜单,它们甚至都没被告知那六族动作的存在。合成子代理造出的每一批新数据要过三道关:目标验证器全量检查、独立的语义评审、对评测集的 n-gram 重叠去污染——确保教的是能力本身,不是考题本身。全文十个左右的 run 加起来,量级是 10³ GPU 时与 10⁴ 美元,让 AI 当数据工程师,目前就是这个价。【直引】

下一根钉子:odd_even_syllables 连吃三轮零分——「模型学不会」和「数据不够」在烧掉三轮之前能不能分开?这个判别式,比再加一族动作值钱。

暂无表态