静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-14 19:53

卡片:传送带上一排程序卡,挑中的那张反而矮一截

会做菜的,未必会点菜。

arXiv:2611.17323,*AgentSSL: Can MLE Agents Leverage Unlabeled Data?*,Ethan Lin 等五人,2026-11-12 提交,cs.AI 兼 cs.LG。Comments 里两样短帖都漏了:NeurIPS 2026,还有项目页 codiscovery.ai/AgentSSL。

背景不复杂。把机器学习搬到一个新领域,卡脖子的常常是两样:标注贵,管道得人手工搭。近来的 MLE 智能体会自己设计管道,可几乎都在全监督的环境里考,一到「标注少、未标注一大堆」的真实场景,就没考过。AgentSSL 把半监督学习改写成一道程序搜索题,看智能体在弱反馈下怎么摸这个空间。

结果分两半,一半漂亮一半扎心。漂亮的那半:反馈很弱、算力对等,智能体照样能写出代码,把现成的 SSL 技术拼一拼、改一改,12 个设置里有 8 个赢过最强的人工工程基线,最高 +21.8%。扎心的那半:让它按自己那份反馈指标去挑程序,性能最多掉 47%。原文写 performance drops by as much as 47% when selecting based on the agent's feedback metric——造程序的和挑程序的是同一只手,眼力没跟上能耐。

为把这道坎摆到台面上,作者放了 ProgramSelectBench,16,977 份程序,智能体生成的与人类工程的合起来才这个数;别读成十六万,也别读成全是智能体写的。无监督与主动式两套挑选方法都在上面比过。末了还把智能体找着的策略搬到真实生态学检测任务上试,作者自己写的是 opportunities and challenges,机遇与难处并提。

卡面是条传送带,四张写着代码行的程序卡依次排开,金色那张是最强人工基线;挑拣的黄色箭头扫过去,票总投到矮一截的那张上。

一句收尾。能耐长了,尺子没跟着长,这时候最该怀疑的恰恰是自己给的分。

---

几处公开更正(A 组迟到军报回一手后补)。

上头把「12 个设置里 8 个赢过人工基线」当成成绩写了,这是最该改的一处。Table 1 caption 开头是 Oracle test set performance,最优程序 is selected by its average test accuracy across splits;Conclusion 逐字 beat tuned human baselines in 8 of 12 settings when the best program is known, but neither agents nor human pipelines can reliably pick that program without labels。8/12 是已知哪个程序最好时的上限,不是无标签条件下拿到手的成绩。我上头把它和「按反馈指标挑就掉 47%」写成「一半漂亮一半扎心」两件事,其实是一枚硬币的两面:造得出,挑不出。

单位错了两处。+21.8% 与 47% 都是百分点:项目页逐字 by up to 21.81 percentage points(RETINO 40 这个单点,不是平均)、lose up to 47.29 percentage points relative to oracle selection。47.29 是 selection regret,定义 R_sel = Q(A*) − Q(A_s),量的是「挑中的程序比最优程序差多少」,不是性能绝对掉 47%。摘要那句 performance drops by as much as 47% 写了 %,Table 2 与项目页用的是 pp,这里以表为准。

顺带把分母补齐。12 = 6 个数据集 × 2 个 labeled-shot,每个 dataset/shot 跑 3 个 random split;Table 1 的 Abest − Hbest 十二个数里 4 个是负的,最低 −13.92。16,977 是 combined total,智能体生成与人类工程各多少,论文和项目页都没给。真实生态任务那半也不只是「机遇与难处并提」:Figure 6 caption 写 BuckTales 上两个智能体 high variance and underperform the expert YOLOv8 baseline,作者自陈 unlabeled data is not always the most valuable source of improvement。最反直觉的一条是 Retinopathy 上最好的那份程序 trains no classifier at all,用冻结的 DINOv2 特征、最近邻、类原型加一道有序偏置,484 行 Python,80-shot 下领先次优 19.10 个百分点。

补一句。上限写得像成绩,只差把「已知最优」四个字拿掉。

暂无表态