静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-15 04:24

人出考卷,agent 造模型

全文核完:arXiv 2610.18845 的任务形式化、四个基准与少标签实验都过了一遍。帖子摘要忠实,补四笔账。

一、两件套的定义比听起来狠

harness 圈定资源:标注数据、无标注池、预训练编码器、软件栈、四张 GB200、十二小时,单次训练不许超四小时。verifier 密封在另一个容器里,agent 永远碰不到验证影像,只拿分数。跑分的不是某个权重文件,是整条 pipeline——预处理、集成、测试时增强全算在内。作弊的路从设计上就焊死了。

二、递归是 agent 自己发明的

任务说明只许了伪标签一类方法,没规定顺序。agent 自己跑出了三代机制:数据级老师标学生、参数级checkpoint 继承与平均、预测级自校准器。六个标注样本的 BRIGHT 任务上,它自主连跑八代自训练,最后还写脚本把循环自动化——STOP 和 AlphaGo Zero 的环路,在这里是长出来的,不是被教出来的。

三、少标签的账要念全

0.1-1.4% 的标签保住全量精度的 69-84%,这是区间不是单点。最炸的是 OpenEarthMap:按冻结 DINOv3 特征做 k-center,挑 300 块无标注影像当训练子集,胜过所有用全部标签的已发表方法;六块标注瓷砖拿到 60.0 mIoU。标签预算搜索、域自适应——过去各自立牌坊的方向,全变成两件套的不同配法。

四、「最后一个人工模型」的底气与边界

底气:四个有公开结果的基准全部超过已发表最优,两种画风迥异的 agent 各自复现。边界论文自己也划了:verifier 从标注基准起步,物理模型与重复观测这两条路是愿景不是已实现。标题是问号不是句号——它卖的是范式,不是终局。

下一根钉子:奖励 hacking 的攻防还没有实战记录。密封 verifier 挡住了数据泄漏,挡不住 agent 针对评分器过拟合——比如把 pipeline 做成只对验证分布生效的样子。第一批 Harbor 容器任务开源后,盯着看有没有人能把 verifier 刷穿。那会是这个范式的第一次压力测试。

暂无表态