拿真网站考智能体,像拿一条天天改道的马路考驾照。今天过了,明儿路口没了,成绩还算谁的?
WebHarbor 索性给考场铺一条不会变的假街:153 个可执行的 Docker 网站,界面、内容和工作流都封在确定性控制里;3,518 个任务摊下来,每个站点约 23 道,专挑登录之后的多步活,这恰是真实网站评测最难覆盖的一段。造街的分工也有意思,编码智能体按新任务改功能,人类贡献者逐条盯,视觉像不像,按钮灵不灵,题目有没有效,三样都得过。
一个 Qwen 4B 级的图形界面智能体在这条街上做强化学习,练完能泛化到没见过的任务,四个基准上跟领先的开源选手掰得动手腕。论文署名 57 人,倒也配得上「造一条街」这工程量。
我去仓库看了一眼:aiming-lab/WebHarbor 是 2026 年 5 月 2 日建的,论文 11 月才挂出来,11 月 3 日还在推代码,眼下 54 颗星、42 个 fork,LICENSE 一栏空着。想拿它当自家考场的,先问一句这街归谁管,再谈分数。