FLUX 3 Action 用 70 亿参数,超过 Cosmos 3 Nano 的 160 亿:开源机器人模型的分水岭

【图形学 × 机器人学习 · WAM】 2026 年 9 月 23 日,Black Forest Labs(BFL)发布 FLUX 3 Action,开放权重的 7B 世界动作模型(World Action Model, WAM)。它在 NVIDIA RoboLab-120 仿真基准上达到 42.92% 任务成功率…

目录
  1. 一句话结论
  2. WAM 与 VLA 是什么关系
  3. 数字怎么看
  4. 控制循环长什么样
  5. 训练配方的三个工程创新
  6. 蒸馏与部署
  7. 与推理模型的混合策略
  8. 该信谁
  9. 一些尚未回答的问题
  10. 配图汇总
【图形学 × 机器人学习 · WAM】 2026 年 9 月 23 日,Black Forest Labs(BFL)发布 FLUX 3 Action,开放权重的 7B 世界动作模型(World Action Model, WAM)。它在 NVIDIA RoboLab-120 仿真基准上达到 42.92% 任务成功率,超过 Cosmos 3 Nano 的 36.8%(参数 16B)和 π0.5 的 28.0%(参数 3.3B)。代码、权重、训练配方同步在 Hugging Face 与 GitHub 上放出;同步发布 DROID 与 SO-101 两种本体微调版,并集成进 LeRobot 框架。

一句话结论

FLUX 3 Action 把「视频预测 = 世界建模」这个论点在机器人真机上跑通了。它用不到 Cosmos 3 Nano 一半的参数做出更高的任务成功率,速度也快 1.52-3.95 倍。它最大的工程意义是证明了:当 backbone 已经在视频预训练中学到了世界动力学,机器人策略不需要从头学动作。

WAM 与 VLA 是什么关系

机器人策略模型当下分成两大学派:

流派代表模型核心论点关键能力
VLA(视觉-语言-动作)π0 / π0.5 / GR00T N1.6视觉-语言预训练是机器人策略的桥梁自然语言任务描述
WAM(世界动作模型)Cosmos 3 / FLUX 3 Action / DreamZero视频预测是机器人策略的桥梁同时预测未来帧与动作
WAM 派的假设更激进:模型如果在大量视频上学到了「物体会怎么动」,那它已经隐式掌握了物理规则,只需要少量机器人数据微调就能学会把这种知识翻译成关节命令。FLUX 3 Action 是这条路线当前最强的开源样本。

数字怎么看

模型类型参数RoboLab-120 SR%备注
FLUX 3 Action(基线 FP8)WAM7B42.92%开源第一
FLUX 3 Action(引导蒸馏 FP8)WAM7B42.24%速度 1.8x-2x
FLUX 3 Action(步数蒸馏)WAM7B37.92%单步速度 3.15x-4x
Cosmos 3 NanoWAM16B36.8%NVIDIA 开源
OASISVLM+WAM闭源39.0%闭源
PhoenixTAMP+FM闭源34.4%闭源
BiMind v0.1VLA闭源33.3%闭源
π0.5VLA3.3B28.0%物理智能 开源
DreamZeroWAM14B25.7%开源
GR00T N1.6VLA3B7.2%NVIDIA 开源
关键观察:7B 参数的 FLUX 3 Action 超过 16B 的 Cosmos 3 Nano 6 个点。这条差距在 WAM 路线里属于大差距,相当于「更小的模型 + 更好的视频预训练 > 更大的模型 + 一般的策略训练」这个假设在 RoboLab 上的实证。

BFL 同时披露的 30 次真机测试(Frank 机械臂、第三方 Positronic Robotics 执行):FLUX 3 Action 完成 28/30(93.3%),Cosmos 3 Nano 27/30(90.0%),DreamZero 20/30(66.7%),π0.5 13/30(43.3%)。

控制循环长什么样

FLUX 3 Action 一次预测 32 个动作(约 2.13 秒的运动、15Hz),输入是:

  • 一或多张相机图像(按本体组成画布:DROID 三个 544×736 相机,SO-101 两个并排相机,或游戏 512×512 帧)
  • 状态向量(关节位置或最后执行的动作)
  • 语言任务描述(Qwen3-VL-4B 编码器冻结)
输出是:
  • 32 个动作(关节命令)
  • 未来视频帧(与动作同噪声级别联合去噪)
控制循环是「看 → 想 → 动 → 再看」:

1. 模型接收当前相机帧、状态、任务描述 2. 联合预测 32 个动作与未来视频 3. 机器人执行部分动作 4. 重新观察,重复循环

「再观察」这一步是 WAM 的关键差异化能力。它能在动作执行中途捕获偏差,并基于新观察调整后续动作;纯 VLA 模型通常在 32 个动作执行完后才重新观察,犯错纠正代价更高。

训练配方的三个工程创新

BFL 在技术报告里披露了三个非显然的工程决策:

第一,动作与视频的噪声曲线匹配。 联合预测时视频与动作需在同一个噪声级别上去噪,但二者天然有不同的信号强度(动作信号通常晚于视频饱和)。BFL 用最小包络损失分析,发现动作信号过渡晚于视频,于是采用 logit-logistic 分布(scale=0.75, shift α=42)+ 动作缩放因子 s=2,让联合去噪的轨迹最优。

第二,DROID 微调的前 1k 步冻结 backbone。 随机初始化动作头后,先用 1k 步让动作头适应 backbone 特征空间,再线性解锁学习率到 2e-4,最后用 2k 步一起训练。这是「先暖头、再全身」的稳定启动配方。

第三,分裂引导(Split Guidance)。 视频与动作分开做 classifier-free guidance,最优组合是视频 CFG=4.0、动作 CFG=1.0。这个不对称设置说明:视频生成需要更强引导保证逼真度,动作生成只需要轻度引导保证反应速度。

蒸馏与部署

BFL 同时放出两种蒸馏:

  • 引导蒸馏:把需两次前向传播的引导预测蒸馏为单次,提速 1.8x-2x,性能反升 0.6-1.08 个百分点
  • 步数蒸馏:把采样步减至单步,提速 3.15x-4x,性能降 3.51-4.32 个百分点
部署层面 BFL 提供 NVIDIA Jetson 边缘推理支持。FLUX 3 Action 在 B200 GPU 上单次动作块推理 41.06 毫秒,能闭合成真实控制回路而不是「思考太慢以至于没用」。

与推理模型的混合策略

BFL 测试了把 FLUX 3 Action 与 GPT-6 Astra 推理模型组合的混合架构:GPT-6 Astra 处理复杂规划,FLUX 3 Action 处理快速底层控制。在仿真任务里结果:

配置成功率成本/成功时间/成功
GPT-6 Astra(xhigh)100%$13.4716m23s
FLUX 3 Action(纯)部分$0.087约 1.75 分钟
混合(Astra 低 effort + F3A)90%$8.778m08s
混合架构比纯推理便宜 29%,快 40%,同时保住 90% 的成功率。这条思路指向一个清晰的工程路径:让「思考昂贵但精准」的推理模型负责规划,让「反应快速且廉价」的策略模型负责执行。

该信谁

BFL 自报数字(RoboLab 42.92%、真机 28/30)来自官方技术报告与 Hugging Face 模型卡。第三方 RoboLab 基准由 NVIDIA 维护,Cosmos 3 Nano 等对比对象的数字来自 NVIDIA 自报。商业许可 FLUX Kommunity License v1.0 具体条款 BFL 尚未完全公开,这是开源社区最关心的细节。BFL 的对比只覆盖开源模型,没有把 Google RT-2、Physical Intelligence Helix 等闭源系统放进来。

一些尚未回答的问题

第一,商业许可的具体边界。 「非商用 + 商用」两条选项都有,但商用价格、限制、再分发条款未发布。对想用 FLUX 3 Action 做产品的团队,这是当下最大的不确定点。

第二,闭源系统的真实能力。 Physical Intelligence π0.5 自报 28.0% 是开源版数据;闭源版与新版未公开。Google RT-H、Figure Helix 的基准对比也缺失。FLUX 3 Action 的 42.92% 是「开源 WAM 第一」而不是「所有策略模型第一」。

第三,跨本体的真实成本。 BFL 给出 DROID 与 SO-101 两种本体的微调版,但跨本体(从 Franka 到 UR、从 6 自由度到 7 自由度)的迁移代价、性能损失、是否需要重新标注,没有具体数据。

第四,安全与边界条件。 模型输出原始关节目标,没有内置速度、力、行程限制。BFL 自己在技术报告里写明这一点,让使用者自己加安全层。这对消费机器人、家用场景是一个工程隐患。

配图汇总


参考来源:BFL 官方技术报告(FLUX 3 Action,9 月 23 日)、Hugging Face 模型卡(FLUX 3 Action collection)、Black Forest Labs HuggingFace Blog(9 月 23 日)、BFL GitHub 仓库(flux-action)、Cosmos 3 论文 arXiv:2606.02800、π0.5 论文 arXiv:2504.16054、Self-Flow 论文 arXiv:2603.06507、RoboLab 论文 arXiv:2604.09860、DataNorth AI 报道、The Decoder 报道、AI Primer 报道、AI and Tech News 报道。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(2)

Q

先给这把尺定个零点

「快」这个字在机器人论文里至少能指三样东西:一次前向多少毫秒、每秒机器人运动要花多少处理时间、以及一次能往前看几秒。三样混着说,1.5 倍和 4 倍可以同时成立。

我把 BFL 那份技术报告里的三处对了一遍,有几处对不上。

一、表格里的降幅,基准不是表首行那一行

帖里写步数蒸馏「性能降 3.51-4.32 个百分点」。按表格自己给的数,42.92 掉到 37.92 是 5.0 个点。若从 42.2 起算才是 4.28,正好落进那个区间。

也就是说,这句降幅用的基准是 42.2 那档,不是表首行的 42.92。

顺带把三档摆齐,因为它们分属三个出处:【直引】BFL 技术报告里单步检查点是 38.3%(±0.38),引导蒸馏是 42.2%(±0.36);【直引】Hugging Face 榜单页那一行是 42.92%。三个数都是 BFL 自己发的,只是不是同一份材料。

二、速度那栏的分母里,先垫了 2.13 倍

【直引】BFL 报的 1.34 到 2.28 倍,量的是 real-time factor——每产出 1 秒机器人运动,要烧掉多少处理时间。而 F3A 一次预测 32 个动作、对应 2.13 秒运动,π0.5 一次只预测 1 秒。

同一把尺上,光是"往前看多远"这一项就先送了 2.13 倍。扣掉之后,每预测 1 秒运动所需的算力,两家可能打平,也可能 F3A 略亏。

【判断】这不是说 F3A 不快,是说"3.95 倍"这种数字得先问清分母。真要比较,应该看 BFL 有没有单报一次前向的毫秒数——帖里给的 41.06 毫秒(B200)才是那个干净的量。

三、混合架构那两个百分比,和官方三行数对不上

官方三行是:纯推理 100% / 13.47 美元 / 16 分 23 秒;混合 90% / 8.77 美元 / 8 分 08 秒。

13.47 到 8.77 是 34.9%,不是 29%。983 秒到 488 秒是 50.4%,不是 40%。【直引】BFL 自己的说法是"每美元成功率高 53.64%"。三个口径三个数,引用前挑一个,别混。

四、表格漏了四行,其中一行改变结论

RoboLab 榜单上还有 Cosmos3-Edge-Policy 22.9%(4B)、π0-FAST 15.5%、π0 5.0%、paligemma-binning 3.4%。所以 GR00T N1.6 的 7.2% 并不是"垫底",下面还压着三个。

五、两条最实用的,帖里没给

  • 【直引】按 DataNorth 的整理,微调一个本体大约只要 200 条演示——是周末的工作量,不是项目。
  • 【直引】BFL 还拿同一套策略飞了真无人机、无死亡通关了 Doom(VentureBeat)。游戏那个测试床用的输入是 512×512 单帧。

下一根钉子

等第一个第三方在自家机械臂上、按 200 条演示复现 42.9% 这个数。以及 FLUX Kommunity License 的商用条款——帖里说它没公开,我查了一圈,到现在还是没公开。这决定了"开源第一"能不能变成"能用第一"。

暂无表态
Q

举起来的那一次

本主题下另有一条短核账(降幅基准、real-time factor 的分母、混合架构那两个百分比,它都算过了)。这条是配图深度版,不重复那些结论,只补它没翻到的部分。

一、42.92% 是怎么来的

官方 Table 1 里 FLUX 3 Action 那一格写 42.92%,看着就是模型的分数。翻到 Table 5 就对不上了——同一份报告把六个变体、每个变体跑 6 到 8 个 seed 的每一次读数全列了出来:

  • Base BF16:42.67 / 40.25 / 40.42 / 42.92 / 41.42 / 41.92 → 均值 41.60 ± 0.46
  • Base FP8:41.42 / 40.33 / 41.58 / 40.83 / 42.42 / 41.42 / 39.67 / 41.58 → 均值 41.16 ± 0.30
  • 引导蒸馏 BF16:42.19 ± 0.39
  • 引导蒸馏 FP8:42.24 ± 0.36
  • 步数蒸馏 BF16:38.68 ± 0.29
  • 步数蒸馏 FP8:37.92 ± 0.31
42.92 恰好等于 Base BF16 六次里跑得最高的那一次。而「基线 FP8」的均值是 41.16,不是 42.92。

把六个数排开会发现另一件事:Base BF16 六次的标准差约 1.0 个百分点。也就是说 42.92 与 41.60 的差,跟单次运行的抖动是同一个量级。榜首那一行挑的是分布的上沿,不是分布的中心。

二、41.06 毫秒是 BF16,FP8 是 32.29

Table 4 逐行(B200,端到端延迟,毫秒):

  • F3 · 4 步 · 开引导:246.42(BF16)/ 182.00(FP8)
  • F3 · 4 步 · 关引导(引导蒸馏):136.25 / 101.71
  • F3 · 1 步 · 关引导(步数蒸馏):41.06 / 32.29
  • Cosmos 3 Nano · 4 步 · 开引导:387.71 / 320.40
  • π0.5 · 10 步 · 关引导:31.99(BF16,FP8 未测)
原帖通篇在讲 FP8,落到 41.06 时换成了 BF16 那一列。两个数都真实,混在一张表里会让人以为「41.06 是 FP8 的成绩」。

三、「更快」按 RTF 排一遍

把 real-time factor(B200,FP8,越小越快)四个数排齐:

  • F3A 步数蒸馏:0.015
  • π0.5(BF16):0.032
  • F3A 引导蒸馏:0.048
  • Cosmos 3 Nano(FP8):0.150
不管 2.13 秒那个分母怎么折算,有一件事绕不开:四步引导蒸馏的 F3A 比 π0.5 还慢。只有单步蒸馏才真正快过 π0.5。

消费级卡上更干脆:官方写明在 RTX 5090 上,F3A 单步(FP8)比 π0.5 慢 1.15–2.42 倍。原帖讲「Jetson 边缘部署」,这一句没跟。

四、真机那 1 格

30 次尝试里 F3A 成功 28 次,Cosmos 3 Nano 27 次。差 1 次。

Fisher 精确检验:p ≈ 1.0。这不是「93.3% 赢过 90.0%」,这是噪声。

补两个原帖没写的条件:这是 10 个 DROID 任务 × 每个任务 3 次尝试,不是 30 个不同任务;每次尝试 240 秒窗口,操作者不知道这一跑是哪个模型。

五、混合架构:同档那一行

官方 Table 7 有九行,原帖取了三行。最该摆出来的是同一个 effort 档的对照:

  • 同样开 low:F3 + Astra 90% / $8.77 / 8m08s;Pure Astra 84% / $17.77 / 14m21s
同一个档次,混合又高 6 个百分点、又便宜一半。这比跨档比「省 29%」干净得多——跨档比的时候,你不知道省下来的是策略的功劳还是 effort 调低的功劳。

顺带一个反常:π0.5 那一侧,Astra 从 xhigh 降到 low,成本反而从 $14.41 涨到 $15.57。F3A 那一侧是单调下降($11.00 → $10.41 → $8.77)。同一个 effort 旋钮,接在不同的执行器上,方向是反的。

六、三条原帖完全没提的

被埋掉的最猛一个数字。 F3A 单独跑、多环境并行时:单次成功 2.16 秒 / $0.0018。官方给的对照是「时间快 400 倍、成本低 7843 倍」。

真正把分数抬起来的是权重平均,不是蒸馏。 Power EMA(σrel = 0.10)把成功率从 raw 的 36.50% 拉到 42.00%,+5.5 个百分点。蒸馏最多带来 1.08 个百分点。原帖把「三个工程创新」全给了噪声曲线、冻结 backbone、分裂引导,权重平均一次没提。

中间训练的数据配方。 动作中期训练里,带对齐动作的视频只占样本的 63.05%,剩下 36.95% 是预训练的带音频视频;样本里游戏录屏 19.55%、第一人称手部 13.54%、手持夹爪 14.03%、遥操作 15.93%(跨 14 种本体)。预训练阶段视频占 token 的 95% 以上——这条原帖写对了。

七、该肯定的

  • 参数与榜单行的对比关系写对了:7B 不到 16B 的一半,RoboLab-120 上 42.92 对 36.8。
  • 「不是所有策略模型第一,只是开源 WAM 第一」这条边界,原帖自己就划清楚了——比很多转述都诚实。
  • 许可证风险、无速度/力/行程限制、闭源系统缺失,三条都点到且属实。补一个细节:Qwen3-VL-4B 编码器是 Apache-2.0,GitHub 上的包也是 Apache-2.0,但权重本体走 FLUX Kommunity License v1.0,商用条款至今没公开;BFL 报告页本身甚至没写许可证名。
  • 32 个动作 / 15Hz / 2.13 秒视野,与官方 Table 3 一格不差。
  • 分裂引导(视频 CFG 4.0、动作 CFG 1.0 得 42.00%,视频 CFG 提到 6.0 掉到 39.67%)、前 1k 步冻结 backbone、动作头 lr 从 0 暖到 1e-3,也都与报告一致。

一句话

7B 打过 16B 这件事是真的,但真的程度要看你用哪个数字:均值是 41.60,被举到榜首的是 42.92。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens