Loading...
正在加载...
请稍候

具身 · 教练下车之后,240 次真机与两个不能并排的 100%

QianXun • 2026年11月14日 21:01

卡片:左边车里副驾坐着教练,右边车门封上冻结的封条、副驾空着,八项任务沿传送带流过

路考那天,副驾一空,方向盘才真正归你。

ACE-CaP-0 这份材料最稀罕的地方,不在 92.1%,在它肯把分母摊在桌面上。八项精细操作,每项三十次独立真机,240 次里成了 221 次。开发那一段,人可以给演示、可以给场景复位、可以临时开仿真,每个任务最多十次人工辅助;评测那一段,策略先冻成代码程序,30 trials per frozen program, no further updates,执行期 without a human or coding agent in the loop。演示不算,复位不算,仿真里的试验也不计入那 240。两条线一划开,数字终于有了主人:92.1% 量的是冻结之后那个程序稳不稳,跟带着教练练得熟不熟是两码事。

回一手把项目页与技术报告逐格对过,有几处得补。这份工作其实挂了 arXiv:2611.16872,v1 是 11 月 12 日 14:38:40 UTC,比中文报道早一天;说「材料没有 arXiv 编号」只对项目页的署名体例成立,不是对整个工作成立。八项逐格数字最硬的出处是技术报告 Table 1,不必退到公众号那张信息图。另有一处措辞容易滑:那 240 次是 240 次独立真机,八个分数恰好都除以 30,数值上才等于八项率的未加权平均,写成「八个分数取中数」会把中位数 91.65% 也牵扯进来。

最该慢下来看的是那三个 86.7%。指导形式、指导时机、仿真方案三张表里都出现它,论文 p.5 却明说 all three labels refer to the same development run and evaluation results——同一次开发运行,换了三个叫法。看着像三组互相印证,其实只有一组。顺序把仿真插成练车中途一节固定课,三十次全砸;改成智能体犯疑时临时开一把,三十次全成,还省了 0.9 小时与 0.77M token。省是相对「顺序」那一格说的,跟只用真机比,按需仿真反倒多花 0.36M token。论文自己给了机制线索:仿真图像太干净,没有真传感器近距离的盲区。

于是 0% 与 100% 只配当线索,不配当结论。报告把话说在前面:Each condition is a single development run on one task,那 30 次测的是「这一次写出来的程序稳不稳」,测不出「这条路线每回都能写出好程序」。想读成因果,得同一条路线多跑几轮、换个任务还成立。

还有两个 100% 不能并排站。消融表里按需仿真那一格,是单任务单次开发运行的产物;主表里插充电器 30/30,是最终系统八项评测里的一项。数字一模一样,对象完全不同,拿前者给后者背书,等于把一次尝试说成八项通吃。

教练下车之后,换一批学员还能不能考过,报告没答。它没有误差条,没有置信区间,没有跨天或跨机复测,也没等来第三方复现,全是公司自测。这些缺口不妨碍它成为这一周最干净的一组具身数字:分母写明了,真机与否写明了,人在不在环写明了,策略冻没冻也写明了。肯把分母写出来,已比多数发布稿强;剩下那半功课,还得有人接着做。

学车那阵子,教练一直坐在旁边,练得再熟也不算自己会开车。路考把教练请下车,同一段路跑完,考官才在表上打勾。机器人学精细操作也分这两段,发布稿常把两段混着讲。

11 月 13 日,大晓机器人(ACE Robotics)放出 ACE-CaP-0 的项目页与技术报告。材料没有 arXiv 编号,页脚写的是「ACE-CaP Team, ACE Robotics, 2026」,项目页本身只标年份,具体日子由同日的中文报道给出【直引:项目页 acerobotics2025.github.io/ACE-CaP/ 与 11-13 公众号首发】。它给了一组少见地能把分母摊开的数字:8 项精细操作,每项 30 次独立真机评测,240 次里成功 221 次,报作 92.1%。

教练什么时候下车

项目页把开发与评测写成两条不相交的线。开发那一段,编程智能体用的是 Claude Opus 5.5,可以拿人工演示来试错,也能用机器人示教和仿真实验,每个任务最多允许 10 次人工辅助的场景复位。评测那一段,策略先冻结成代码程序,原文的限定语是 30 trials per frozen program, no further updates,并且这 30 次 separate from development。演示不算,复位不算,仿真里的试验也不计入 240。执行期还有一句更硬的交代:without a human or coding agent in the loop。

硬件也交代得具体:两只 Agilex PIPER X 机械臂,三台 Orbbec DaBai DC1 相机,一台顶视加两台腕部。这套配置的用处是把「谁在看」写清楚,免得后面把腕部视角的贡献算到模型头上。

这两条线分开写,价值在于数字终于有了主人。92.1% 量的是冻结之后那个程序的可靠性,不是带教练那一轮的练习成绩。反过来,开发期花了多少 token、耗了多少小时,也不能拿来给评测期的成功率做注解。报告给的开发输出是每任务 0.75 到 2.14 百万 token,那是写代码的开销,评测期并不消耗这个量【判断】。

二百二十一从哪几格加出来

逐项成功率在公众号首发的信息图里给全了,项目页正文只直接点名五项。把八格摆在一起,可以对一次加法。

任务 成功次数 成功率
插充电器 30/30 100%
面包装箱 25/30 83.3%
开瓶盖 27/30 90%
杯子套叠 28/30 93.3%
插花 27/30 90%
鸡肉装盘 29/30 96.7%
包裹翻转 28/30 93.3%
鞋子装盒 27/30 90%
合计 221/240 92.1%

30 加 25 加 27 加 28 加 27 加 29 加 28 加 27 得 221,除以 240 是 92.0833%,四舍五入 92.1%。报告写的 at least 90% on 7 of 8 tasks 也对得上,只有面包装箱那一格掉到 83.3%【直引:项目页结果与 11-13 公众号信息图】。

这里有个容易滑过去的说法问题。原文给的是汇总试验率,八项分母刚好都是 30,数值上才恰好等于八个任务率的未加权平均。写成人均八项平均分会歪掉一层意思:那 240 次是 240 次独立真机,不是八个分数取中数。

执行时间也有类似的小坑。报告给的是跨任务均值落在 0.97 到 2.27 分钟,八项里六项平均低于两分钟,最短的是包裹翻转 0.97 分钟。把 0.97 拎出来讲「一分钟内干完一项」,讲的是最快那格,与整体水平无关【判断】。

零和一百挨着站

消融表比主表更值得看。三组消融都压在插充电器这一个任务上,每个条件只跑 1 次开发运行,得到的冻结程序各测 30 次真机。指导形式那组,文字 60%,人类视频 73.3%,机器人示教 86.7%;指导时机那组,一次性给完 53.3%,改成按需再问 86.7%,耗时从 7.2 小时降到 3.7 小时,token 从 1.16M 降到 0.73M。

仿真方案那组差得最扎眼。

把仿真插在真机试错中间做成一个固定阶段,30 次全败;改成智能体遇到具体疑问才临时开仿真,30 次全成。后一条路还更省,开发时间少 0.9 小时,token 少 0.77M。这个反差适合当线索,不适合当结论。报告自己把话说在前面:Each condition is a single development run on one task, so the 30 trials measure the reliability of the resulting program, while the repeatability of the development process remains to be established.

翻译过来,那 30 次测的是「这一次写出来的程序稳不稳」,测不出「这条开发路线每次都能写出好程序」。顺序仿真拿到 0%,有可能真是路线不对,也有可能只是那一次开发运行里程序写坏了,两种解释在现有数据里分不开【判断】。想把它读成因果,得看同一条件多跑几轮开发,以及换个任务还成不成立。

还有两个 100% 得拆开摆。消融表里按需仿真那一格,是单任务单次开发运行的产物;主表里插充电器 30/30,是最终系统在八项评测里的表现。数字相同,对象不同,拿前者给后者背书会把一次尝试说成八项通吃。

这一轮五篇各盯的分母

同一周的具身发布稿里,分母至少有四种。ACE-CaP-0 的 240 次全是真机且执行期无人在环;OpenAI 那组 74.8% 与 51.0% 出自仿真操作基准;华硕 Gallop 通稿里的 99.5% 是对标人工的目标值;星尘 CoMind 的 0% 到 100% 是产品页上的成对演示。四个数放在一张表上比高低,比的是四种不同的东西【判断:据三份侦察报告与一手页交叉】。

顺手把本轮另外几路也记一笔,免得它们只留在选题单里。

领域 本轮窗口内的动向 落点
数学 2611.01714 给的是三色 Rado 数 F(n,3;2) 的公式证明,早前挂账写成 Schur 数 已更正,不作主篇
量化交易 2611.14117 订单流基础模型,作者自陈预测变动小于买卖价差加手续费 口径先行,暂不立篇
物理学 中性原子实时纠错、光量子解码、FTQC 编译器 本轮三篇主篇
天文学 窗口内无可回一手的新公告 留白
生物学 上海交大 TLR4-TIR NADase 一线工作 待 DOI 核实
化学 UCL 无卤四电子碘电解液 待一手核
图形学 2611.17185 神经渲染代理,静态场景固定相机 并入第四篇
游戏引擎 UE 5.9 MegaJam Preview 第四篇主篇
AI coding 智能体主导版本与文档审计 第四篇主篇
具身智能 ACE-CaP-0 240 次真机 本篇

ACE-CaP-0 这份报告没有误差条,没有置信区间,没有跨天或跨机复测,也没有第三方复现,全部为公司自测。这些缺口不妨碍它成为本轮最干净的一组具身数字:分母写明了,真机与否写明了,人在不在环写明了,策略有没有冻结也写明了。往后要补的是另一半功课,同一条开发路线多跑几轮,看看教练下车之后,换一批学员还能不能考过。

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录